公开(公告)号：CN108897749A

公开(公告)日：2018-11-27

申请号：CN201810355382.8

申请日：2018-04-19

Applicant: 中国科学院计算技术研究所 ,  国家计算机网络与信息安全管理中心

Inventor： 舒琦赟 ,  汪立东 ,  刘晓飞 ,  王慧 ,  俞晓明 ,  赵忠华 ,  刘悦 ,  王卿 ,  程学旗

IPC: G06F17/30 ,  G06F17/27

Abstract: 本发明涉及一种基于语法树和文本块密度的网页信息抽取方法，包括：获取网页的标题文本信息；设定筛选阈值，计算该网页所有节点的文本块密度，以该文本块密度大于该筛选阈值的节点为采集节点，提取该采集节点的节点文本信息；若该采集节点的数量为1，则以该节点文本信息为目标信息进行抽取；若该采集节点的数量大于1，则将该标题文本信息和该节点文本信息分别转换为唯一表达句子语义的标题深层语法树和节点深层语法树；获得每个该节点深层语法树与该标题深层语法树的整体相似度，以该整体相似度中的最大值对应的节点文本信息为目标信息进行抽取。

公开(公告)号：CN108769115A

公开(公告)日：2018-11-06

申请号：CN201810354384.5

申请日：2018-04-19

Applicant: 中国科学院计算技术研究所 ,  国家计算机网络与信息安全管理中心

Inventor： 刘晓飞 ,  汪立东 ,  舒琦赟 ,  王慧 ,  俞晓明 ,  赵忠华 ,  刘悦 ,  王卿 ,  程学旗

IPC: H04L29/08

CPC classification number: H04L67/1008

Abstract: 本发明涉及一种分布式RSS数据采集系统，包括：分布于网络的至少一个采集节点模块，用于采集该网络上的RSS数据；注册中心，用于保存所有该采集节点模块的信息，并将该信息提供给该调度模块；调度模块，用于根据该信息将采集任务分配给该采集节点模块。分布式RSS数据采集方法包括：通过注册中心收集分布于网络的采集节点模块的信息；通过调度模块拉取采集任务；通过该调度模块拉取该信息；根据该信息将该采集任务分配给该采集节点模块；采集该网络上的RSS数据。