公开(公告)号：CN113094382B

公开(公告)日：2022-12-06

申请号：CN202110363545.9

申请日：2021-04-02

Applicant: 南开大学

Inventor： 温延龙 ,  王艺茹 ,  皮春莹 ,  郑羽辰 ,  乜鹏

IPC: G06F16/23 ,  G06F16/25 ,  G06F16/951

Abstract: 本发明属于计算机领域，具体涉及用户在采集大量的有不同来源的数据时，通过系统的自动化管理和用户的个性化配置对不同来源的数据进行采集和更新。该方法包括如下步骤，步骤1、用户建立数据类型库，并为类型库配置不同来源；步骤2、用户为数据类型库中的来源设置数据抓取规则，并启动源数据采集任务获取网页中的源数据；步骤3、用户启动数据预处理任务，对步骤2中得到的源数据进行初步预处理，提取出来源网页中的网页信息；步骤4、用户基于数据预处理得到的网页信息，进行系统配置，并在配置完成后启动数据处理任务，对数据进行处理或更新。

公开(公告)号：CN113094382A

公开(公告)日：2021-07-09

申请号：CN202110363545.9

申请日：2021-04-02

Applicant: 南开大学

Inventor： 温延龙 ,  王艺茹 ,  皮春莹 ,  郑羽辰 ,  乜鹏

IPC: G06F16/23 ,  G06F16/25 ,  G06F16/951

Abstract: 本发明属于计算机领域，具体涉及用户在采集大量的有不同来源的数据时，通过系统的自动化管理和用户的个性化配置对不同来源的数据进行采集和更新。该方法包括如下步骤，步骤1、用户建立数据类型库，并为类型库配置不同来源；步骤2、用户为数据类型库中的来源设置数据抓取规则，并启动源数据采集任务获取网页中的源数据；步骤3、用户启动数据预处理任务，对步骤2中得到的源数据进行初步预处理，提取出来源网页中的网页信息；步骤4、用户基于数据预处理得到的网页信息，进行系统配置，并在配置完成后启动数据处理任务，对数据进行处理或更新。

公开(公告)号：CN112199219A

公开(公告)日：2021-01-08

申请号：CN202011287202.0

申请日：2020-11-17

Applicant: 南开大学

Inventor： 温延龙 ,  刘越 ,  王艺茹 ,  乜鹏 ,  张海威 ,  袁晓洁

IPC: G06F9/54 ,  G06F9/50 ,  G06F8/30

Abstract: 本发明属于计算机领域，具体涉及在客户端配置好其他语言的作业算法后，在服务器端对客户端作业进行调用的方法。包括如下步骤，步骤1、客户端和服务器端配置环境，进行程序安装初始化；步骤2、客户端与服务器端建立连接关系；步骤3、服务器端配置作业算法，将生成的配置文件发送给客户端；步骤4、客户端读取配置文件并调用对应作业算法，将运行结果反馈给服务器端。