d3i-szct/models/govc_task_detail.py

import datetime
import random
from typing import Union

import pandas as pd
from sqlalchemy import select, delete, text
from tornado_swagger.model import register_swagger_model
from wtforms import StringField, TextAreaField, IntegerField, DateTimeField
from wtforms.validators import Length, Optional

import models
from models.common_model import CommonModel
from models.db_models import TD3iGovcTaskDetail
from paste.core.logging import echo_log
from paste.rbac.rbac_user import RbacUser
from paste.util.pagination import Pagination
from paste.web.form import ModelForm


class GovcTaskDetailForm(ModelForm):
    """
    市12345工单详情表单验证类（完全映射 TD3iGovcTaskDetail 字段）。

    用于验证和处理市12345工单详情的创建/修改表单数据。
    字段完全映射数据库表 t_d3i_govc_task_detail 的字段结构。
    """

    # 基础信息
    id = IntegerField('主键ID')
    task_id = IntegerField('关联工单主表ID', validators=[Optional()])
    note = TextAreaField('备注')
    purpose = StringField('诉求目的', validators=[Length(max=255, message='诉求目的长度不能超过255字符')])
    type_level = StringField('诉求类型等级', validators=[Length(max=64, message='诉求类型等级长度不能超过64字符')])
    type = StringField('诉求类型', validators=[Length(max=64, message='诉求类型长度不能超过64字符')])
    sign_time_bf = DateTimeField('签收时限', validators=[Optional()])
    matter = StringField('窗口进驻事项', validators=[Length(max=32, message='窗口进驻事项长度不能超过32字符')])
    case_form_type = StringField('个性化表单类型', validators=[Length(max=64, message='个性化表单类型长度不能超过64字符')])
    content = TextAreaField('诉求内容')
    handle_ou = StringField('处办单位', validators=[Length(max=255, message='处办单位长度不能超过255字符')])
    urgency = IntegerField('是否紧急', validators=[Optional()])
    sj_handle_ou = StringField('涉及单位', validators=[Length(max=255, message='涉及单位长度不能超过255字符')])
    ccb_content = TextAreaField('催补撤内容')
    is_secret = StringField('是否保密', validators=[Length(max=32, message='是否保密长度不能超过32字符')])
    theme = StringField('主题工单', validators=[Length(max=32, message='主题工单长度不能超过32字符')])
    attribute = StringField('归口类型', validators=[Length(max=255, message='归口类型长度不能超过255字符')])
    zqt = StringField('企业名称', validators=[Length(max=255, message='企业名称长度不能超过255字符')])
    address = StringField('详细地址', validators=[Length(max=500, message='详细地址长度不能超过500字符')])
    seng_again_num = IntegerField('再交办次数', validators=[Optional()])
    epidemic = StringField('是否疫情工单', validators=[Length(max=32, message='是否疫情工单长度不能超过32字符')])
    has_ccb = IntegerField('是否有催补撤信息', validators=[Optional()])
    way = StringField('受理方式', validators=[Length(max=64, message='受理方式长度不能超过64字符')])
    return_visit = StringField('回访类型', validators=[Length(max=64, message='回访类型长度不能超过64字符')])
    finish_time_bf = DateTimeField('反馈时限', validators=[Optional()])
    is_email = IntegerField('是否邮箱提交', validators=[Optional()])
    time = DateTimeField('事发时间', validators=[Optional()])
    called_tx = StringField('被叫号码', validators=[Length(max=64, message='被叫号码长度不能超过64字符')])
    back_time_bf = DateTimeField('拒绝时限', validators=[Optional()])

    def process(self, formdata=None, obj=None, **kwargs):
        """
        处理表单数据，在数据绑定前进行预处理。

        主要功能：
            - 遍历所有表单字段
            - 对字符串类型的值去除两端空白字符
            - 调用父类的process方法继续处理
        """
        if formdata:
            for name, values in formdata.items():
                if isinstance(values, list) and values:
                    formdata[name] = [v.strip() if isinstance(v, str) else v for v in values]
                elif isinstance(values, str):
                    formdata[name] = values.strip()
        super().process(formdata, obj, **kwargs)


class GovcTaskDetailBase(TD3iGovcTaskDetail, CommonModel):
    """
    市12345工单详情基础类（完全映射 TD3iGovcTaskDetail 字段）。

    继承自数据库模型 TD3iGovcTaskDetail 和通用模型 CommonModel。
    封装所有与工单详情相关的通用操作方法。
    """

    FieldMapping = {
        'id': 'id',
        'task_id': 'task_id',
        'note': 'note',
        'purpose': 'purpose',
        'type_level': 'type_level',
        'type': 'type',
        'sign_time_bf': 'sign_time_bf',
        'matter': 'matter',
        'case_form_type': 'case_form_type',
        'content': 'content',
        'handle_ou': 'handle_ou',
        'urgency': 'urgency',
        'sj_handle_ou': 'sj_handle_ou',
        'ccb_content': 'ccb_content',
        'is_secret': 'is_secret',
        'theme': 'theme',
        'attribute': 'attribute',
        'zqt': 'zqt',
        'address': 'address',
        'seng_again_num': 'seng_again_num',
        'epidemic': 'epidemic',
        'has_ccb': 'has_ccb',
        'way': 'way',
        'return_visit': 'return_visit',
        'finish_time_bf': 'finish_time_bf',
        'is_email': 'is_email',
        'time': 'time',
        'called_tx': 'called_tx',
        'back_time_bf': 'back_time_bf',
        'created_at': 'created_at',
        'created_by': 'created_by',
        'updated_at': 'updated_at',
        'updated_by': 'updated_by',
    }
    """
    工单详情数据映射
    """

    @classmethod
    async def is_exist(cls, task_id: int):
        """
        检查工单详情记录是否已存在（根据关联工单主表ID）。

        :param task_id: 关联工单主表ID
        :return: 存在返回对象，不存在返回None
        """
        _query = select(cls).where(cls.task_id == task_id)
        _detail: cls = await cls.query_first(_query)
        return _detail

    @classmethod
    async def search_base(cls, is_paging=True, **kwargs):
        """
        按参数搜索工单详情数据的基础方法。

        支持字段：
            - task_id, type_level, type, urgency, epidemic, has_ccb, way, return_visit, is_email
            - 支持模糊匹配：note, purpose, content, handle_ou, sj_handle_ou, ccb_content, address
            - 支持精确匹配：matter, case_form_type, is_secret, theme, attribute, zqt, called_tx

        :param is_paging: 是否分页
        :param kwargs: 查询参数
        :key int page_number: 页码（缺省随机1~100）
        :key int page_size: 每页数量（缺省20）
        :key dict sort_clause: 排序配置，如 {'task_id': 'asc'}
        :key int task_id: 精确匹配关联工单主表ID
        :key str type_level: 精确匹配诉求类型等级
        :key str type: 精确匹配诉求类型
        :key int urgency: 精确匹配是否紧急
        :key str epidemic: 精确匹配是否疫情工单
        :key int has_ccb: 精确匹配是否有催补撤信息
        :key str way: 精确匹配受理方式
        :key str return_visit: 精确匹配回访类型
        :key int is_email: 精确匹配是否邮箱提交
        :key str note: 模糊匹配备注
        :key str purpose: 模糊匹配诉求目的
        :key str content: 模糊匹配诉求内容
        :key str handle_ou: 模糊匹配处办单位
        :return: (DataFrame, Pagination)
        """
        page_number = kwargs.get('page_number', random.randint(1, 100))
        page_size = kwargs.get('page_size', 20)
        kwargs.update({'page_number': page_number, 'page_size': page_size})

        # 模糊查询字段
        _name_likes = {
            cls.note.key: '%{}%',
            cls.purpose.key: '%{}%',
            cls.content.key: '%{}%',
            cls.handle_ou.key: '%{}%',
            cls.sj_handle_ou.key: '%{}%',
            cls.ccb_content.key: '%{}%',
            cls.address.key: '%{}%',
        }

        _query = select(cls).where(
            *cls.search_wheres(likes=_name_likes, **kwargs)
        ).group_by(cls.id)

        _paging = None
        if is_paging:
            _row_count = await cls.query_count(_query)
            _paging = Pagination(_row_count).paging(page_number, page_size)
            _data_query = _query.limit(page_size).offset(_paging.offset_size)
        else:
            _data_query = _query.where()

        _sort_clause = cls.sort_clauses(kwargs.get('sort_clause', {}))
        if _sort_clause:
            _data_query = _data_query.order_by(*_sort_clause)
        else:
            _data_query = _data_query.order_by(cls.task_id, cls.id)

        _detail_df = await cls.query_as_df(_data_query)
        if not _detail_df.empty:
            _detail_df.replace(models.EmptyInDF + models.EmptyDatetimeInDF, '', inplace=True)
            _detail_df[cls.id.key] = _detail_df[cls.id.key].astype(str)

        return _detail_df, _paging

    @classmethod
    async def search(cls, **kwargs):
        """
        按参数搜索工单详情数据，返回分页格式数据。
        """
        _detail_df, _paging = await cls.search_base(** kwargs)
        return {
            'total': _paging.row_count,
            'rows': _detail_df.to_dict('records'),
            'pagination': {
                'page_number': _paging.page_number,
                'page_count': _paging.page_count,
                'page_size': _paging.page_size,
            },
        }

    @classmethod
    async def exists_task_id(cls, data_df: pd.DataFrame):
        """
        查找 data_df 中在数据库中已存在和不存在的记录。根据 task_id 字段判断。

        :param data_df: 输入的数据框架，必须包含 task_id 列
        :return: (exists_df: pd.DataFrame, latest_df: pd.DataFrame)
            - exists_df: 在数据库中存在的记录
            - latest_df: 在数据库中不存在的记录
        """
        if data_df.empty:
            return pd.DataFrame(), pd.DataFrame()

        # 获取待查询的 task_id 列表（去重）
        task_ids = data_df[cls.task_id.key].unique().tolist()
        if not task_ids:
            return pd.DataFrame(), data_df.copy()

        # 查询数据库中已存在的 task_id
        _query = select(cls.id, cls.task_id).where(cls.task_id.in_(task_ids))
        task_ids_df = await cls.query_as_df(_query)

        if task_ids_df.empty:
            return pd.DataFrame(), data_df.copy()

        # 构建 task_id -> id 的映射字典
        task_id_to_id_map = dict(zip(task_ids_df[cls.task_id.key], task_ids_df[cls.id.key]))

        # 根据 task_id 是否在数据库中，划分数据
        mask_exists = data_df[cls.task_id.key].isin(task_ids_df[cls.task_id.key])
        # 数据库已经有的记录
        exists_df = data_df[mask_exists].copy()
        # 自动补充从数据库查到的 id 字段
        exists_df[cls.id.key] = exists_df[cls.task_id.key].map(task_id_to_id_map)
        # 新的数据
        latest_df = data_df[~mask_exists].copy()
        return exists_df, latest_df


@register_swagger_model
class GovcTaskDetail(GovcTaskDetailBase):
    """
    市12345工单详情模型类（主业务类，完全继承 TD3iGovcTaskDetail 字段）。

    ---
    description: 市12345工单详情接口
    type: object
    properties:
      id:
        description: 主键ID
        type: integer
        example: 1001
        readOnly: true
      task_id:
        description: 关联工单主表ID
        type: integer
        example: 2001
      note:
        description: 备注
        type: string
        example: "该工单需加急处理"
      purpose:
        description: 诉求目的
        type: string
        example: "投诉小区物业不作为"
        maxLength: 255
      type_level:
        description: 诉求类型等级
        type: string
        example: "一级诉求"
        maxLength: 64
      type:
        description: 诉求类型
        type: string
        example: "投诉"
        maxLength: 64
      sign_time_bf:
        description: 签收时限
        type: string
        format: date-time
        example: "2024-01-15 10:30:00"
      matter:
        description: 窗口进驻事项
        type: string
        example: "民生服务"
        maxLength: 32
      case_form_type:
        description: 个性化表单类型
        type: string
        example: "通用投诉表单"
        maxLength: 64
      content:
        description: 诉求内容
        type: string
        example: "小区垃圾堆积无人清理，物业未及时处理"
      handle_ou:
        description: 处办单位
        type: string
        example: "XX街道办事处"
        maxLength: 255
      urgency:
        description: 是否紧急（1:紧急，0:不紧急）
        type: integer
        example: 1
      sj_handle_ou:
        description: 涉及单位
        type: string
        example: "XX物业公司,XX社区"
        maxLength: 255
      ccb_content:
        description: 催补撤内容
        type: string
        example: "请尽快补充工单相关证明材料"
      is_secret:
        description: 是否保密
        type: string
        example: "0"
        maxLength: 32
      theme:
        description: 主题工单
        type: string
        example: "民生保障"
        maxLength: 32
      attribute:
        description: 归口类型
        type: string
        example: "城乡建设"
        maxLength: 255
      zqt:
        description: 企业名称
        type: string
        example: "XX物业服务有限公司"
        maxLength: 255
      address:
        description: 详细地址
        type: string
        example: "XX市XX区XX街道XX小区1号楼"
        maxLength: 500
      seng_again_num:
        description: 再交办次数
        type: integer
        example: 2
      epidemic:
        description: 是否疫情工单
        type: string
        example: "0"
        maxLength: 32
      has_ccb:
        description: 是否有催补撤信息（1:有，0:无）
        type: integer
        example: 1
      way:
        description: 受理方式
        type: string
        example: "电话受理"
        maxLength: 64
      return_visit:
        description: 回访类型
        type: string
        example: "电话回访"
        maxLength: 64
      finish_time_bf:
        description: 反馈时限
        type: string
        format: date-time
        example: "2024-01-20 17:00:00"
      is_email:
        description: 是否邮箱提交（1:是，0:否）
        type: integer
        example: 0
      time:
        description: 事发时间
        type: string
        format: date-time
        example: "2024-01-14 09:15:00"
      called_tx:
        description: 被叫号码
        type: string
        example: "021-12345678"
        maxLength: 64
      back_time_bf:
        description: 拒绝时限
        type: string
        format: date-time
        example: "2024-01-16 12:00:00"
      created_at:
        description: 创建时间，ISO格式的日期时间字符串
        type: string
        format: date-time
        example: "2024-01-15 10:30:00"
        readOnly: true
      created_by:
        description: 创建者用户名
        type: string
        example: "admin"
        readOnly: true
      updated_at:
        description: 修改时间，ISO格式的日期时间字符串
        type: string
        format: date-time
        example: "2024-01-16 14:25:00"
        readOnly: true
      updated_by:
        description: 修改者用户名
        type: string
        example: "editor"
        readOnly: true
    """

    @classmethod
    async def create(cls, user: RbacUser = None, **kwargs):
        """
        创建新的工单详情记录。

        业务流程：
            1. 使用 GovcTaskDetailForm 验证表单数据完整性
            2. 检查是否已存在相同 task_id 的记录（避免重复提交）
            3. 创建新工单详情对象
            4. 设置创建者和更新者为当前用户
            5. 保存到数据库
            6. 返回创建的对象

        :param RbacUser user: 操作用户对象
        :param kwargs: 工单详情参数字典
        :return: 新建工单详情对象
        :rtype: GovcTaskDetail
        :raises AssertionError: 当记录已存在时抛出
        :raises ValidationError: 当表单验证失败时抛出
        """
        # 处理字符串字段去除空格
        for _k, _v in kwargs.items():
            if isinstance(_v, str):
                kwargs[_k] = _v.strip()

        _form = GovcTaskDetailForm(formdata=kwargs)
        _form.validate_form()

        # 检查是否已存在相同 task_id 的记录
        _existing = await cls.is_exist(_form.task_id.data)
        assert _existing is None, "该工单已存在详情记录，不能重复提交。"

        # 创建对象
        _detail = cls().copy_from_dict(_form.data, skip_none=True).before_save()
        if user:
            _detail.created_by = user.username
            _detail.updated_by = user.username
        await _detail.async_save()
        return _detail

    @classmethod
    async def delete(cls, detail_id: Union[str, int]):
        """
        删除工单详情记录。

        业务流程：
            1. 根据ID查找记录
            2. 验证存在性
            3. 执行删除

        :param detail_id: 要删除的工单详情记录ID
        :return: 删除的记录对象
        :rtype: GovcTaskDetail
        :raises AssertionError: 当记录不存在时抛出
        """
        _detail: cls = await cls.async_find_by_id(detail_id)
        assert _detail, f"根据 ID {detail_id} 未找到工单详情记录。"

        _del_query = delete(cls).where(cls.id == _detail.id)
        _del_count = (await cls.raw_execute(_del_query)).rowcount
        echo_log(f'已删除工单详情记录（工单ID：{_detail.task_id}，ID：{_detail.id}）.')
        return _detail

    @classmethod
    async def modify(cls, detail_id: Union[str, int], user: RbacUser = None, **kwargs):
        """
        修改已有工单详情记录。

        业务流程：
            1. 将 detail_id 添加到参数中
            2. 处理字符串字段去除首尾空格
            3. 使用 GovcTaskDetailForm 验证表单数据
            4. 查询原记录
            5. 验证存在性
            6. 更新字段并设置更新者
            7. 保存到数据库
            8. 返回更新后的对象

        :param detail_id: 要修改的工单详情记录ID
        :param RbacUser user: 操作用户对象
        :param kwargs: 需要更新的字段
        :return: 修改后的工单详情对象
        :rtype: GovcTaskDetail
        :raises AssertionError: 当记录不存在时抛出
        :raises ValidationError: 当表单验证失败时抛出
        """
        # 处理字符串字段去除空格
        for _k, _v in kwargs.items():
            if isinstance(_v, str):
                kwargs[_k] = _v.strip()

        # 表单验证
        _form = GovcTaskDetailForm(formdata=kwargs)
        _form.validate_form()

        # 查询原记录
        _detail: cls = await cls.async_find_by_id(detail_id)
        assert _detail, f'查无此工单详情信息。'

        # 更新字段
        _detail.copy_from_dict(_form.data, skip_none=True).before_save()
        _detail.updated_by = user.username
        await _detail.async_save()
        return _detail

    @classmethod
    async def create_batch(cls, data_df: pd.DataFrame, user: RbacUser = None):
        """
        批量创建工单详情记录（传入数据应为全新记录）。

        :param data_df: 包含工单详情数据的 DataFrame
        :param user: 操作用户对象，用于设置 created_by / updated_by
        :return: 成功创建的数量
        :rtype: int
        """
        if data_df.empty:
            return 0

        if user:
            data_df['created_by'] = user.username
            data_df['updated_by'] = user.username

        records = data_df.to_dict('records')
        details = [cls().copy_from_dict(record, skip_none=True).before_save() for record in records]

        session = cls.get_aio_session()
        try:
            session.add_all(details)
            await session.commit()
        except Exception as e:
            await session.rollback()
            raise e
        finally:
            await session.close()
        echo_log(f"批量创建成功：创建 {len(details)} 条工单详情记录。")
        return len(details)

    @classmethod
    async def modify_batch(cls, data_df: pd.DataFrame, user: RbacUser = None):
        """
        批量修改已有工单详情记录。

        :param data_df: 包含工单详情数据的 DataFrame（必须包含 id 列）
        :param user: 操作用户对象，用于设置 updated_by
        :return: 成功更新的数量
        :rtype: int
        """
        if data_df.empty:
            return 0

        # 必须包含 id 列
        if 'id' not in data_df.columns:
            echo_log(f"错误：modify_batch 要求输入数据必须包含 '{cls.id.key}' 列（主键）")
            return 0

        # 手动添加更新时间戳
        data_df['updated_at'] = datetime.datetime.now()
        # 添加更新者信息
        if user:
            data_df['updated_by'] = user.username

        # 转换为字典列表
        update_data = data_df.to_dict('records')

        # 使用 bulk_update_mappings
        session = cls.get_aio_session()
        try:
            await session.run_sync(
                lambda sync_session: sync_session.bulk_update_mappings(cls, update_data)
            )
            await session.commit()
            updated_count = len(update_data)
        except Exception as e:
            await session.rollback()
            raise e
        finally:
            await session.close()

        echo_log(f"批量修改成功：更新 {updated_count} 条工单详情记录。")
        return updated_count

    @classmethod
    async def save_batch(cls, data_df: pd.DataFrame, user: RbacUser = None):
        """
        批量保存工单详情数据，自动处理新建和更新。

        :param data_df: 要保存的数据框架
        :param user: 用户
        :return: 新建和更新的数量
        """
        # 筛选数据状态
        _exists_df, _latest_df = await GovcTaskDetail.exists_task_id(data_df)
        # 保存到数据库
        _created_count = await GovcTaskDetail.create_batch(_latest_df, user)
        _updated_count = await GovcTaskDetail.modify_batch(_exists_df, user)
        return _created_count, _updated_count