import datetime import random from typing import Union import pandas as pd from sqlalchemy import select, delete from tornado_swagger.model import register_swagger_model from wtforms import StringField, TextAreaField, IntegerField from wtforms.validators import Length import models from models.common_model import CommonModel from models.db_models import TD3iDcmDispose from paste.core.logging import echo_log from paste.rbac.rbac_user import RbacUser from paste.util.pagination import Pagination from paste.web.form import ModelForm class DcmDisposeForm(ModelForm): """ 批转任务表单验证类（完全映射 TD3iDcmDispose 字段）。 用于验证和处理数字城管-批转任务的创建/修改表单数据。 字段完全映射数据库表 t_d3i_dcm_dispose 的字段结构。 """ # 基础信息 id = IntegerField('记录ID') rec_id = StringField('记录ID', validators=[Length(max=64, message='记录ID长度不能超过64字符')]) task_number = StringField('任务号', validators=[Length(max=64, message='任务号长度不能超过64字符')]) act_id = StringField('工单ID', validators=[Length(max=64, message='工单ID长度不能超过64字符')]) task_list_id = StringField('任务列表ID', validators=[Length(max=64, message='任务列表ID长度不能超过64字符')]) trans_info = StringField('批转对象', validators=[Length(max=64, message='批转对象长度不能超过64字符')]) opinion = TextAreaField('批转意见', validators=[Length(max=65535, message='批转意见长度不能超过65535字符')]) add_num = StringField('批转意见', validators=[Length(max=32, message='批转意见长度不能超过32字符')]) attachments = TextAreaField('附件', validators=[Length(max=65535, message='附件长度不能超过65535字符')]) send_message = StringField('发送短信', validators=[Length(max=32, message='发送短信标识长度不能超过32字符')]) undertake_user_name = StringField('承办人员', validators=[Length(max=64, message='承办人员长度不能超过64字符')]) undertake_phone = StringField('联系电话', validators=[Length(max=64, message='联系电话长度不能超过64字符')]) status = IntegerField('提交状态') def process(self, formdata=None, obj=None, **kwargs): """ 处理表单数据，在数据绑定前进行预处理。 主要功能： - 遍历所有表单字段 - 对字符串类型的值去除两端空白字符 - 调用父类的process方法继续处理 """ if formdata: for name, values in formdata.items(): if isinstance(values, list) and values: formdata[name] = [v.strip() if isinstance(v, str) else v for v in values] elif isinstance(values, str): formdata[name] = values.strip() super().process(formdata, obj, **kwargs) class DcmDisposeBase(TD3iDcmDispose, CommonModel): """ 批转任务基础类（完全映射 TD3iDcmDispose 字段）。 继承自数据库模型 TD3iDcmDispose 和通用模型 CommonModel。 封装所有与批转任务相关的通用操作方法。 """ FieldMapping = { 'id': 'id', 'rec_id': 'rec_id', 'task_number': 'task_number', 'act_id': 'act_id', 'task_list_id': 'task_list_id', 'trans_info': 'trans_info', 'opinion': 'opinion', 'add_num': 'add_num', 'attachments': 'attachments', 'send_message': 'send_message', 'undertake_user_name': 'undertake_user_name', 'undertake_phone': 'undertake_phone', 'status': 'status', 'created_at': 'created_at', 'created_by': 'created_by', 'updated_at': 'updated_at', 'updated_by': 'updated_by', } """ 批转任务数据映射 """ @classmethod async def exist_other(cls, id: Union[str, int], rec_id: str, task_number: str): """ 检查是否存在除当前记录外的其他相同任务号或记录ID的批转记录。 :param id: 当前记录ID :param rec_id: 记录ID :param task_number: 任务号 :return: 存在返回记录对象，不存在返回None """ _query = select(cls).where( cls.id != id, (cls.rec_id == rec_id) | (cls.task_number == task_number) ) _dispose: cls = await cls.query_first(_query) return _dispose @classmethod async def find_by_ids(cls, ids: list[Union[str, int]]): """ 根据ID列表批量查找批转任务数据。 """ _query = select(cls).where(cls.id.in_(ids)) _dispose_list: list[cls] = (await cls.orm_execute_scalars(_query)).all() return _dispose_list @classmethod async def is_exist(cls, rec_id: str, task_number: str): """ 检查批转记录是否已经存在（根据记录ID或任务号）。 """ _query = select(cls).where( (cls.rec_id == rec_id) | (cls.task_number == task_number) ) _dispose: cls = await cls.query_first(_query) return _dispose @classmethod async def search_base(cls, is_paging=True, **kwargs): """ 按参数搜索批转任务数据的基础方法。 支持字段： - task_number, rec_id, act_id, trans_info, status - 支持模糊匹配：trans_info, opinion - 支持精确匹配：status, send_message :param is_paging: 是否分页 :param kwargs: 查询参数 :key int page_number: 页码（缺省随机1~100） :key int page_size: 每页数量（缺省20） :key dict sort_clause: 排序配置，如 {'task_number': 'asc'} :key str task_number: 精确匹配任务号 :key str rec_id: 精确匹配记录ID :key str act_id: 精确匹配工单ID :key str trans_info: 模糊匹配批转对象 :key str opinion: 模糊匹配批转意见 :key int status: 精确匹配提交状态 :key str send_message: 精确匹配发送短信标识 :return: (DataFrame, Pagination) """ page_number = kwargs.get('page_number', random.randint(1, 100)) page_size = kwargs.get('page_size', 20) kwargs.update({'page_number': page_number, 'page_size': page_size}) # 模糊查询字段 _name_likes = { cls.trans_info.key: '%{}%', cls.opinion.key: '%{}%', } _query = select(cls).where( *cls.search_wheres(likes=_name_likes, **kwargs) ).group_by(cls.id) _paging = None if is_paging: _row_count = await cls.query_count(_query) _paging = Pagination(_row_count).paging(page_number, page_size) _data_query = _query.limit(page_size).offset(_paging.offset_size) else: _data_query = _query.where() _sort_clause = cls.sort_clauses(kwargs.get('sort_clause', {})) if _sort_clause: _data_query = _data_query.order_by(*_sort_clause) else: _data_query = _data_query.order_by(cls.task_number, cls.rec_id) _dispose_df = await cls.query_as_df(_data_query) if not _dispose_df.empty: _dispose_df.replace(models.EmptyInDF + models.EmptyDatetimeInDF, '', inplace=True) _dispose_df[cls.id.key] = _dispose_df[cls.id.key].astype(str) return _dispose_df, _paging @classmethod async def search(cls, **kwargs): """ 按参数搜索批转任务数据，返回分页格式数据。 """ _dispose_df, _paging = await cls.search_base(**kwargs) return { 'total': _paging.row_count, 'rows': _dispose_df.to_dict('records'), 'pagination': { 'page_number': _paging.page_number, 'page_count': _paging.page_count, 'page_size': _paging.page_size, }, } @classmethod async def exists_rec_id(cls, data_df: pd.DataFrame): """ 查找 data_df 中在数据库中已存在和不存在的记录。根据 rec_id 和 task_number 判断。 :param data_df: 输入的数据框架，必须包含 rec_id 和 task_number 列 :return: (exists_df: pd.DataFrame, latest_df: pd.DataFrame) - exists_df: 在数据库中存在的记录 - latest_df: 在数据库中不存在的记录 """ if data_df.empty: return pd.DataFrame(), pd.DataFrame() # 获取待查询的 rec_id 和 task_number 列表（去重组合） rec_ids = data_df[cls.rec_id.key].unique().tolist() task_numbers = data_df[cls.task_number.key].unique().tolist() if not rec_ids and not task_numbers: return pd.DataFrame(), data_df.copy() # 查询数据库中已存在的记录（任一匹配） _query = select(cls.id, cls.rec_id, cls.task_number).where( (cls.rec_id.in_(rec_ids)) | (cls.task_number.in_(task_numbers)) ) exists_df = await cls.query_as_df(_query) if exists_df.empty: return pd.DataFrame(), data_df.copy() # 构建 (rec_id, task_number) -> id 的映射字典 exists_map = set(zip(exists_df[cls.rec_id.key], exists_df[cls.task_number.key])) # 标记是否存在 mask_exists = data_df.apply( lambda row: (row[cls.rec_id.key], row[cls.task_number.key]) in exists_map, axis=1 ) exists_df = data_df[mask_exists].copy() latest_df = data_df[~mask_exists].copy() # 为存在的记录补充 id 字段（可选） exists_df[cls.id.key] = exists_df.apply( lambda row: exists_df[ (exists_df[cls.rec_id.key] == row[cls.rec_id.key]) & (exists_df[cls.task_number.key] == row[cls.task_number.key]) ][cls.id.key].iloc[0] if len(exists_df[ (exists_df[cls.rec_id.key] == row[cls.rec_id.key]) & (exists_df[cls.task_number.key] == row[cls.task_number.key]) ]) > 0 else None, axis=1 ) return exists_df, latest_df @register_swagger_model class DcmDispose(DcmDisposeBase): """ 批转任务模型类（主业务类，完全继承 TD3iDcmDispose 字段）。 --- description: 数字城管-批转接口 type: object properties: id: description: 主键ID type: integer example: 1001 readOnly: true rec_id: description: 记录ID type: string example: "20240501001" maxLength: 64 task_number: description: 任务号 type: string example: "TASK20240501001" maxLength: 64 act_id: description: 工单ID type: string example: "ACT20240501001" maxLength: 64 task_list_id: description: 任务列表ID type: string example: "LIST20240501001" maxLength: 64 trans_info: description: 批转对象（固定：市受理员） type: string example: "市受理员" maxLength: 64 opinion: description: 批转意见 type: string example: "请转交至市容科处理" maxLength: 65535 add_num: description: 批转意见（冗余字段） type: string example: "请转交" maxLength: 32 attachments: description: 附件（JSON格式） type: string example: '["file1.jpg","file2.pdf"]' maxLength: 65535 send_message: description: 发送短信（1:发送，0:不发送） type: string example: "1" maxLength: 32 status: description: 提交状态 type: integer example: 1 created_at: description: 创建时间，ISO格式的日期时间字符串 type: string format: date-time example: "2024-01-15 10:30:00" readOnly: true created_by: description: 创建者用户名 type: string example: "admin" readOnly: true updated_at: description: 修改时间，ISO格式的日期时间字符串 type: string format: date-time example: "2024-01-16 14:25:00" readOnly: true updated_by: description: 修改者用户名 type: string example: "editor" readOnly: true """ @classmethod async def create(cls, user: RbacUser = None, **kwargs): """ 创建新的批转任务。 业务流程： 1. 使用 TD3iDcmDisposeForm 验证表单数据完整性 2. 检查是否存在相同记录ID或任务号的批转记录 3. 创建新批转对象 4. 设置创建者和更新者为当前用户 5. 保存到数据库 6. 返回创建的批转对象 :param RbacUser user: 操作用户对象 :param kwargs: 批转参数字典 :return: 新建批转任务对象 :rtype: TD3iDcmDispose :raises AssertionError: 当记录已存在时抛出 :raises ValidationError: 当表单验证失败时抛出 """ # 处理字符串字段去除空格 for _k, _v in kwargs.items(): if isinstance(_v, str): kwargs[_k] = _v.strip() _dispose_form = DcmDisposeForm(formdata=kwargs) _dispose_form.validate_form() # 检查是否已存在相同记录ID或任务号 _exist: cls = await cls.is_exist(_dispose_form.rec_id.data, _dispose_form.task_number.data) assert _exist is None, "该记录ID或任务号已存在批转记录，不能重复创建。" # 创建批转对象 _dispose = cls().copy_from_dict(_dispose_form.data, skip_none=True).before_save() if user: _dispose.created_by = user.username _dispose.updated_by = user.username await _dispose.async_save() return _dispose @classmethod async def delete(cls, dispose_id: Union[str, int]): """ 删除批转任务。 业务流程： 1. 根据ID查找批转任务 2. 验证任务存在性 3. 执行删除操作 :param dispose_id: 要删除的批转任务ID :return: 删除的批转任务对象 :rtype: TD3iDcmDispose :raises AssertionError: 当任务不存在时抛出 """ _dispose: cls = await cls.async_find_by_id(dispose_id) assert _dispose, f"根据 ID {dispose_id} 未找到批转任务。" # 执行删除 _del_query = delete(cls).where(cls.id == _dispose.id) _del_count = (await cls.raw_execute(_del_query)).rowcount echo_log(f'已删除批转任务（任务号：{_dispose.task_number}，ID：{_dispose.id}）.') return _dispose @classmethod async def modify(cls, dispose_id: Union[str, int], user: RbacUser = None, **kwargs): """ 修改已有批转任务信息。 业务流程： 1. 将 dispose_id 添加到参数中 2. 处理字符串字段去除首尾空格 3. 使用 TD3iDcmDisposeForm 验证表单数据 4. 检查是否有其他批转任务使用了相同的 rec_id 或 task_number 5. 查询原批转任务对象 6. 验证任务存在性 7. 更新字段并设置更新者 8. 保存到数据库 9. 返回更新后的批转任务对象 :param dispose_id: 要修改的批转任务ID :param RbacUser user: 操作用户对象 :param kwargs: 需要更新的字段 :return: 修改后的批转任务对象 :rtype: TD3iDcmDispose :raises AssertionError: 当任务不存在或信息重复时抛出 :raises ValidationError: 当表单验证失败时抛出 """ # 处理字符串字段去除空格 for _k, _v in kwargs.items(): if isinstance(_v, str): kwargs[_k] = _v.strip() # 表单验证 _dispose_form = DcmDisposeForm(formdata=kwargs) _dispose_form.validate_form() # 检查是否与其他批转任务重复（排除自身） _other = await cls.exist_other( dispose_id, _dispose_form.rec_id.data, _dispose_form.task_number.data ) assert _other is None, "批转记录ID或任务号已存在，不能重复修改。" # 查询原批转任务 _dispose: cls = await cls.async_find_by_id(dispose_id) assert _dispose, f'查无此批转信息。' # 更新字段 _dispose.copy_from_dict(_dispose_form.data, skip_none=True).before_save() _dispose.updated_by = user.username await _dispose.async_save() return _dispose @classmethod async def create_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量创建新批转任务（传入数据应为全新记录，无需校验是否存在）。 :param data_df: 包含批转任务数据的 DataFrame，字段需与模型属性匹配（如 rec_id, task_number 等） :param user: 操作用户对象，用于设置 created_by / updated_by :return: 成功创建的任务数量 :rtype: int """ if data_df.empty: return 0 # 向量化设置用户字段（无循环） if user: data_df['created_by'] = user.username data_df['updated_by'] = user.username # 一次性转为字典列表（C 层高效） records = data_df.to_dict('records') # 用列表推导式构造对象 disposals = [cls().copy_from_dict(record, skip_none=True).before_save() for record in records] # 批量插入 session = cls.get_aio_session() try: session.add_all(disposals) await session.commit() except Exception as e: await session.rollback() raise e finally: await session.close() echo_log(f"批量创建成功：创建 {len(disposals)} 条新批转记录。") return len(disposals) @classmethod async def modify_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量修改已有批转任务。 :param data_df: 包含批转任务数据的 DataFrame，必须包含 id 列 :param user: 操作用户对象，用于设置 updated_by :return: 成功更新的任务数量 :rtype: int """ if data_df.empty: return 0 # 必须包含 id 列 if 'id' not in data_df.columns: echo_log(f"错误：modify_batch 要求输入数据必须包含 '{cls.id.key}' 列（主键）") return 0 # 手动添加更新时间戳 data_df['updated_at'] = datetime.datetime.now() # 添加更新者信息 if user: data_df['updated_by'] = user.username # 转换为字典列表 update_data = data_df.to_dict('records') # 使用 bulk_update_mappings session = cls.get_aio_session() try: await session.run_sync( lambda sync_session: sync_session.bulk_update_mappings(cls, update_data) ) await session.commit() updated_count = len(update_data) except Exception as e: await session.rollback() raise e finally: await session.close() echo_log(f"批量修改成功：更新 {updated_count} 条批转记录。") return updated_count @classmethod async def save_batch(cls, data_df: pd.DataFrame, user: RbacUser = None): """ 批量保存数据，自动处理新建和更新。 :param data_df: 要保存的数据框架 :param user: 用户 :return: 新建和更新的数量 """ # 筛选数据状态 _exists_df, _latest_df = await DcmDispose.exists_rec_id(data_df) # 保存到数据库 _created_count = await DcmDispose.create_batch(_latest_df, user) _updated_count = await DcmDispose.modify_batch(_exists_df, user) return _created_count, _updated_count