初始化项目

dock/dcm/dcm_scrape_more_info.py

@@ -0,0 +1,50 @@
+import asyncio
+import json
+import pandas as pd
+import models
+
+from tornado.httpclient import HTTPResponse, HTTPRequest
+
+from dock.dcm import dcm_api
+from paste.util import udict
+from paste.core.logging import echo_log
+from models.dcm_task_more_info import DcmTaskMoreInfo
+
+
+async def get_more_info_request(rec_id: int):
+    """
+    获取 DCM 企业代办更多信息数据。
+
+    向 DCM 的企业代办更多信息数据接口发送 GET 请求，获取指定记录ID的更多信息数据。
+    自动注入有效的 Cookie（如 JSESSIONID）至请求头，并解析返回的 JSON 数据。
+
+    Args:
+        rec_id (int): 关联类型 ID，默认为 1（任务类型）。
+    """
+    api_url = f"/home/workflow/getrecmsginfo"
+    request_body = {
+        "recID": rec_id
+    }
+    # 构造 API 请求
+    return await dcm_api.new_api_request(api_url, request_body, 'GET')
+
+
+async def after_more_info_request(response: HTTPResponse, retry_queue: asyncio.Queue[HTTPRequest]):
+    response_body = response.body.decode()
+    response_data = json.loads(response_body)
+    list_data = udict.get_by_path(response_data, 'resultInfo.data.processInfo')
+    data_df = pd.DataFrame(list_data)
+    # 更换映射方向，用于将源数据列名改为与数据库表对应
+    forward_mapping = {dict_f: table_f for table_f, dict_f in DcmTaskMoreInfo.FieldMapping.items()}
+    mapped_df = data_df.rename(columns=forward_mapping)
+    # 这里把空数据都换成 None，以便存入数据库时是 null
+    mapped_df.replace(models.EmptyInDF + models.EmptyDatetimeInDF, None, inplace=True)
+    dcm_task_id = getattr(response.request, 'dcm_task_id')
+    rec_id = getattr(response.request, 'rec_id')
+    mapped_df[DcmTaskMoreInfo.dcm_task_id.key] = dcm_task_id
+    mapped_df[DcmTaskMoreInfo.rec_id.key] = rec_id
+    # 筛选数据状态
+    _created, _updated = await DcmTaskMoreInfo.save_batch(mapped_df)
+    echo_log(f"成功创建企业待办 {rec_id} 的更多信息：{_created}条，更新：{_updated}条.")
+    if retry_queue:
+        echo_log(f"企业待办更多信息重试队列中有：{retry_queue.qsize()} 个请求在等待.")