import datetime import random from typing import Union import pandas as pd from sqlalchemy import select, delete from tornado_swagger.model import register_swagger_model from wtforms import StringField, TextAreaField, IntegerField, DateTimeField from wtforms.validators import Length import models from models.common_model import CommonModel from models.db_models import TD3iGovcTask from paste.core.logging import echo_log from paste.rbac.rbac_user import RbacUser from paste.util.pagination import Pagination from paste.web.form import ModelForm class GovcTaskForm(ModelForm): """ 市12345工单表单验证类（完全映射 TD3iGovcTask 字段）。 用于验证和处理市12345工单主表的创建/修改表单数据。 字段完全映射数据库表 t_d3i_govc_task 的字段结构。 """ # 基础信息 id = IntegerField('记录ID') evl_result = StringField('结果满意度', validators=[Length(max=64, message='结果满意度长度不能超过64字符')]) finish_result = TextAreaField('办结结果', validators=[Length(max=65535, message='办结结果长度不能超过65535字符')]) serial_num = StringField('工单编号', validators=[Length(max=64, message='工单编号长度不能超过64字符')]) t_status = StringField('任务单状态', validators=[Length(max=64, message='任务单状态长度不能超过64字符')]) accord_type = StringField('归口类型', validators=[Length(max=255, message='归口类型长度不能超过255字符')]) create_date = DateTimeField('交办时间') back_time_bf = DateTimeField('拒绝时限') sub_handle_ou_name = StringField('子处办单位', validators=[Length(max=255, message='子处办单位长度不能超过255字符')]) sign_time_bf = IntegerField('签收时限时间戳') is_leaf = StringField('是否叶子节点', validators=[Length(max=32, message='是否叶子节点长度不能超过32字符')]) row_guid = StringField('rowguid', validators=[Length(max=64, message='rowguid长度不能超过64字符')]) c_guid = StringField('查询详情使用guid', validators=[Length(max=64, message='查询详情使用guid长度不能超过64字符')]) finish_time = IntegerField('办结时间戳') sign_time = IntegerField('签收时间戳') is_secret = StringField('是否保密', validators=[Length(max=32, message='是否保密长度不能超过32字符')]) finish_time_bf = DateTimeField('办结时限') link_number = StringField('联系号码', validators=[Length(max=64, message='联系号码长度不能超过64字符')]) pvi_guid = StringField('查询详情使用pviguid', validators=[Length(max=64, message='查询详情使用pviguid长度不能超过64字符')]) rqst_type = StringField('诉求类型', validators=[Length(max=64, message='诉求类型长度不能超过64字符')]) rqst_content = TextAreaField('诉求内容', validators=[Length(max=65535, message='诉求内容长度不能超过65535字符')]) handle_ou_name = StringField('处办单位', validators=[Length(max=255, message='处办单位长度不能超过255字符')]) rqst_title = StringField('标题', validators=[Length(max=500, message='标题长度不能超过500字符')]) sign_person = StringField('签收人', validators=[Length(max=128, message='签收人长度不能超过128字符')]) rqst_person = StringField('诉求人', validators=[Length(max=128, message='诉求人长度不能超过128字符')]) rqs_channel = StringField('渠道来源', validators=[Length(max=64, message='渠道来源长度不能超过64字符')]) t_type = StringField('工单类型', validators=[Length(max=64, message='工单类型长度不能超过64字符')]) solve_situation = StringField('解决情况', validators=[Length(max=64, message='解决情况长度不能超过64字符')]) evl_style = StringField('态度满意度', validators=[Length(max=64, message='态度满意度长度不能超过64字符')]) send_opinion = TextAreaField('派送意见', validators=[Length(max=65535, message='派送意见长度不能超过65535字符')]) created_at = DateTimeField('创建时间') created_by = StringField('创建者', validators=[Length(max=64, message='创建者长度不能超过64字符')]) updated_at = DateTimeField('更新时间') updated_by = StringField('更新者', validators=[Length(max=64, message='更新者长度不能超过64字符')]) def process(self, formdata=None, obj=None, **kwargs): """ 处理表单数据，在数据绑定前进行预处理。 主要功能： - 遍历所有表单字段 - 对字符串类型的值去除两端空白字符 - 调用父类的process方法继续处理 """ if formdata: for name, values in formdata.items(): if isinstance(values, list) and values: formdata[name] = [v.strip() if isinstance(v, str) else v for v in values] elif isinstance(values, str): formdata[name] = values.strip() super().process(formdata, obj, **kwargs) class GovcTaskBase(TD3iGovcTask, CommonModel): """ 市12345工单基础类（完全映射 TD3iGovcTask 字段）。 继承自数据库模型 TD3iGovcTask 和通用模型 CommonModel。 封装所有与市12345工单相关的通用操作方法。 """ FieldMapping = { 'id': 'id', 'evl_result': 'evlresult', 'finish_result': 'finishresult', 'serial_num': 'serialnum', 't_status': 'tstatus', 'accord_type': 'accordtype', 'create_date': 'createdate', 'back_time_bf': 'backtime_bf', 'sub_handle_ou_name': 'subhandleouname', 'sign_time_bf': 'signtime_bf', 'is_leaf': 'isLeaf', 'row_guid': 'rowguid', 'c_guid': 'cguid', 'finish_time': 'finishtime', 'sign_time': 'signtime', 'is_secret': 'issecret', 'finish_time_bf': 'finishtime_bf', 'link_number': 'linknumber', 'pvi_guid': 'pviguid', 'rqst_type': 'rqsttype', 'rqst_content': 'rqstcontent', 'handle_ou_name': 'handleouname', 'rqst_title': 'rqsttitle', 'sign_person': 'signperson', 'rqst_person': 'rqstperson', 'rqs_channel': 'rqschannel', 't_type': 'ttype', 'solve_situation': 'solvesituation', 'evl_style': 'evlstyle', 'send_opinion': 'sendopinion' } """ 工单数据映射 """ @classmethod async def is_exist(cls, serial_num: str): """ 检查工单记录是否已存在（根据工单编号）。 :param serial_num: 工单编号 :return: 存在返回对象，不存在返回None """ _query = select(cls).where(cls.serial_num == serial_num) _task: cls = await cls.query_first(_query) return _task @classmethod async def search_base(cls, is_paging=True, **kwargs): """ 按参数搜索工单数据的基础方法。 支持字段： - serial_num, row_guid, c_guid, pvi_guid, t_status, t_type, is_leaf, is_secret - 支持模糊匹配：rqst_content, finish_result, send_opinion, rqst_title - 支持精确匹配：t_status, t_type, is_leaf, is_secret :param is_paging: 是否分页 :param kwargs: 查询参数 :key int page_number: 页码（缺省随机1~100） :key int page_size: 每页数量（缺省20） :key dict sort_clause: 排序配置，如 {'serial_num': 'asc'} :key str serial_num: 精确匹配工单编号 :key str row_guid: 精确匹配rowguid :key str c_guid: 精确匹配查询详情使用guid :key str pvi_guid: 精确匹配查询详情使用pviguid :key str t_status: 精确匹配任务单状态 :key str t_type: 精确匹配工单类型 :key str is_leaf: 精确匹配是否叶子节点 :key str is_secret: 精确匹配是否保密 :key str rqst_content: 模糊匹配诉求内容 :key str finish_result: 模糊匹配办结结果 :key str send_opinion: 模糊匹配派送意见 :key str rqst_title: 模糊匹配标题 :return: (DataFrame, Pagination) """ page_number = kwargs.get('page_number', random.randint(1, 100)) page_size = kwargs.get('page_size', 20) kwargs.update({'page_number': page_number, 'page_size': page_size}) # 模糊查询字段 _name_likes = { cls.rqst_content.key: '%{}%', cls.finish_result.key: '%{}%', cls.send_opinion.key: '%{}%', cls.rqst_title.key: '%{}%', } _query = select(cls).where( *cls.search_wheres(likes=_name_likes, **kwargs) ).group_by(cls.id) _paging = None if is_paging: _row_count = await cls.query_count(_query) _paging = Pagination(_row_count).paging(page_number, page_size) _data_query = _query.limit(page_size).offset(_paging.offset_size) else: _data_query = _query.where() _sort_clause = cls.sort_clauses(kwargs.get('sort_clause', {})) if _sort_clause: _data_query = _data_query.order_by(*_sort_clause) else: _data_query = _data_query.order_by(cls.serial_num, cls.id) _task_df = await cls.query_as_df(_data_query) if not _task_df.empty: _task_df.replace(models.EmptyInDF + models.EmptyDatetimeInDF, '', inplace=True) _task_df[cls.id.key] = _task_df[cls.id.key].astype(str) return _task_df, _paging @classmethod async def search(cls, **kwargs): """ 按参数搜索工单数据，返回分页格式数据。 """ _task_df, _paging = await cls.search_base(**kwargs) return { 'total': _paging.row_count, 'rows': _task_df.to_dict('records'), 'pagination': { 'page_number': _paging.page_number, 'page_count': _paging.page_count, 'page_size': _paging.page_size, }, } @classmethod async def exists_serial_num(cls, data_df: pd.DataFrame): """ 查找 data_df 中在数据库中已存在和不存在的记录。根据 serial_num 字段判断。 :param data_df: 输入的数据框架，必须包含 serial_num 列 :return: (exists_df: pd.DataFrame, latest_df: pd.DataFrame) - exists_df: 在数据库中存在的记录 - latest_df: 在数据库中不存在的记录 """ if data_df.empty: return pd.DataFrame(), pd.DataFrame() # 获取待查询的 serial_num 列表（去重） serial_nums = data_df[cls.serial_num.key].unique().tolist() if not serial_nums: return pd.DataFrame(), data_df.copy() # 查询数据库中已存在的 serial_num _query = select(cls.id, cls.serial_num).where(cls.serial_num.in_(serial_nums)) serial_nums_df = await cls.query_as_df(_query) if serial_nums_df.empty: return pd.DataFrame(), data_df.copy() # 构建 serial_num -> id 的映射字典 serial_num_to_id_map = dict(zip(serial_nums_df[cls.serial_num.key], serial_nums_df[cls.id.key])) # 根据 serial_num 是否在数据库中，划分数据 mask_exists = data_df[cls.serial_num.key].isin(serial_nums_df[cls.serial_num.key]) # 数据库已经有的记录 exists_df = data_df[mask_exists].copy() # 自动补充从数据库查到的 id 字段 exists_df[cls.id.key] = exists_df[cls.serial_num.key].map(serial_num_to_id_map) # 新的数据 latest_df = data_df[~mask_exists].copy() return exists_df, latest_df @register_swagger_model class GovcTask(GovcTaskBase): """ 市12345工单模型类（主业务类，完全继承 TD3iGovcTask 字段）。 --- description: 市12345工单主表接口 type: object properties: id: description: 主键ID type: integer example: 1001 readOnly: true evl_result: description: 结果满意度 type: string example: "满意" maxLength: 64 finish_result: description: 办结结果 type: string example: "已完成诉求处理，用户反馈满意" maxLength: 65535 serial_num: description: 工单编号 type: string example: "GOV20240501001" maxLength: 64 t_status: description: 任务单状态 type: string example: "已办结" maxLength: 64 accord_type: description: 归口类型 type: string example: "城市管理" maxLength: 255 create_date: description: 交办时间 type: string format: date-time example: "2024-01-15 10:30:00" back_time_bf: description: 拒绝时限 type: string format: date-time example: "2024-01-20 18:00:00" sub_handle_ou_name: description: 子处办单位 type: string example: "XX街道办事处" maxLength: 255 sign_time_bf: description: 签收时限时间戳 type: integer example: 1705324800000 is_leaf: description: 是否叶子节点 type: string example: "1" maxLength: 32 row_guid: description: rowguid type: string example: "8f9e7d6c-5b4a-3210-9876-abcdef123456" maxLength: 64 c_guid: description: 查询详情使用guid type: string example: "7e8d9c0b-1a2b-3c4d-5e6f-7890abcdef12" maxLength: 64 finish_time: description: 办结时间戳 type: integer example: 1705843200000 sign_time: description: 签收时间戳 type: integer example: 1705411200000 is_secret: description: 是否保密 type: string example: "0" maxLength: 32 finish_time_bf: description: 办结时限 type: string format: date-time example: "2024-01-25 18:00:00" link_number: description: 联系号码 type: string example: "13800138000" maxLength: 64 pvi_guid: description: 查询详情使用pviguid type: string example: "9d8c7b6a-5f4e-3d2c-1b0a-9876543210fe" maxLength: 64 rqst_type: description: 诉求类型 type: string example: "投诉" maxLength: 64 rqst_content: description: 诉求内容 type: string example: "XX小区垃圾堆积未及时清理，影响居民生活" maxLength: 65535 handle_ou_name: description: 处办单位 type: string example: "XX区城市管理局" maxLength: 255 rqst_title: description: 标题 type: string example: "XX小区垃圾清理问题" maxLength: 500 sign_person: description: 签收人 type: string example: "张三" maxLength: 128 rqst_person: description: 诉求人 type: string example: "李四" maxLength: 128 rqs_channel: description: 渠道来源 type: string example: "12345热线" maxLength: 64 t_type: description: 工单类型 type: string example: "民生类" maxLength: 64 solve_situation: description: 解决情况 type: string example: "已解决" maxLength: 64 evl_style: description: 态度满意度 type: string example: "满意" maxLength: 64 send_opinion: description: 派送意见 type: string example: "请XX街道办事处尽快处理" maxLength: 65535 created_at: description: 创建时间，ISO格式的日期时间字符串 type: string format: date-time example: "2024-01-15 10:30:00" readOnly: true created_by: description: 创建者用户名 type: string example: "admin" readOnly: true updated_at: description: 修改时间，ISO格式的日期时间字符串 type: string format: date-time example: "2024-01-16 14:25:00" readOnly: true updated_by: description: 修改者用户名 type: string example: "editor" readOnly: true """ @classmethod async def create(cls, user: RbacUser = None, **kwargs): """ 创建新的工单记录。 业务流程： 1. 使用 GovcTaskForm 验证表单数据完整性 2. 检查是否已存在相同 serial_num 的记录（避免重复提交） 3. 创建新工单对象 4. 设置创建者和更新者为当前用户 5. 保存到数据库 6. 返回创建的对象 :param RbacUser user: 操作用户对象 :param kwargs: 工单参数字典 :return: 新建工单对象 :rtype: GovcTask :raises AssertionError: 当记录已存在时抛出 :raises ValidationError: 当表单验证失败时抛出 """ # 处理字符串字段去除空格 for _k, _v in kwargs.items(): if isinstance(_v, str): kwargs[_k] = _v.strip() _form = GovcTaskForm(formdata=kwargs) _form.validate_form() # 检查是否已存在相同 serial_num 的记录 _existing = await cls.is_exist(_form.serial_num.data) assert _existing is None, "该工单编号已存在记录，不能重复提交。" # 创建对象 _task = cls().copy_from_dict(_form.data, skip_none=True).before_save() if user: _task.created_by = user.username _task.updated_by = user.username await _task.async_save() return _task @classmethod async def delete(cls, task_id: Union[str, int]): """ 删除工单记录。 业务流程： 1. 根据ID查找记录 2. 验证存在性 3. 执行删除 :param task_id: 要删除的工单记录ID :return: 删除的记录对象 :rtype: GovcTask :raises AssertionError: 当记录不存在时抛出 """ _task: cls = await cls.async_find_by_id(task_id) assert _task, f"根据 ID {task_id} 未找到工单记录。" _del_query = delete(cls).where(cls.id == _task.id) _del_count = (await cls.raw_execute(_del_query)).rowcount echo_log(f'已删除工单记录（工单编号：{_task.serial_num}，ID：{_task.id}）.') return _task @classmethod async def modify(cls, task_id: Union[str, int], user: RbacUser = None, **kwargs): """ 修改已有工单记录。 业务流程： 1. 将 task_id 添加到参数中 2. 处理字符串字段去除首尾空格 3. 使用 GovcTaskForm 验证表单数据 4. 查询原记录 5. 验证存在性 6. 更新字段并设置更新者 7. 保存到数据库 8. 返回更新后的对象 :param task_id: 要修改的工单记录ID :param RbacUser user: 操作用户对象 :param kwargs: 需要更新的字段 :return: 修改后的工单对象 :rtype: GovcTask :raises AssertionError: 当记录不存在时抛出 :raises ValidationError: 当表单验证失败时抛出 """ # 处理字符串字段去除空格 for _k, _v in kwargs.items(): if isinstance(_v, str): kwargs[_k] = _v.strip() # 表单验证 _form = GovcTaskForm(formdata=kwargs) _form.validate_form() # 查询原记录 _task: cls = await cls.async_find_by_id(task_id) assert _task, f'查无此工单信息。' # 更新字段 _task.copy_from_dict(_form.data, skip_none=True).before_save() _task.updated_by = user.username await _task.async_save() return _task @classmethod async def create_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量创建工单记录（传入数据应为全新记录）。 :param data_df: 包含工单数据的 DataFrame :param user: 操作用户对象，用于设置 created_by / updated_by :return: 成功创建的数量 :rtype: int """ if data_df.empty: return 0 if user: data_df['created_by'] = user.username data_df['updated_by'] = user.username records = data_df.to_dict('records') tasks = [cls().copy_from_dict(record, skip_none=True).before_save() for record in records] session = cls.get_aio_session() try: session.add_all(tasks) await session.commit() except Exception as e: await session.rollback() raise e finally: await session.close() echo_log(f"批量创建成功：创建 {len(tasks)} 条工单记录。") return len(tasks) @classmethod async def modify_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量修改已有工单记录。 :param data_df: 包含工单数据的 DataFrame（必须包含 id 列） :param user: 操作用户对象，用于设置 updated_by :return: 成功更新的数量 :rtype: int """ if data_df.empty: return 0 # 必须包含 id 列 if 'id' not in data_df.columns: echo_log(f"错误：modify_batch 要求输入数据必须包含 '{cls.id.key}' 列（主键）") return 0 # 手动添加更新时间戳 data_df['updated_at'] = datetime.datetime.now() # 添加更新者信息 if user: data_df['updated_by'] = user.username # 转换为字典列表 update_data = data_df.to_dict('records') # 使用 bulk_update_mappings session = cls.get_aio_session() try: await session.run_sync( lambda sync_session: sync_session.bulk_update_mappings(cls, update_data) ) await session.commit() updated_count = len(update_data) except Exception as e: await session.rollback() raise e finally: await session.close() echo_log(f"批量修改成功：更新 {updated_count} 条工单记录。") return updated_count @classmethod async def save_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量保存工单数据，自动处理新建和更新。 :param data_df: 要保存的数据框架 :param user: 用户 :return: 新建和更新的数量 """ # 筛选数据状态 _exists_df, _latest_df = await GovcTask.exists_serial_num(data_df) # 保存到数据库 _created_count = await GovcTask.create_batch(_latest_df, user) _updated_count = await GovcTask.modify_batch(_exists_df, user) return _created_count, _updated_count