-
公开(公告)号：CN114417211A
公开(公告)日：2022-04-29
申请号：CN202111319929.7
申请日：2021-11-09
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/9536 , G06Q50/00
Abstract: 本发明公开了一种面向社交平台的数据采集方法，包括：1)在主机上通过模拟用户发出的浏览器访问请求获取社交平台上相关页面的Web页面数据；2)将真机或模拟器连接主机，模拟用户发出的APP访问请求，在主机上设置网络代理，拦截APP访问请求获得相应的HTTP/HTTPS请求，获取社交平台上相关页面的APP页面数据；3)将Web页面数据和APP页面数据分别进行页面解析、数据对齐融合，输出并存入数据库。本发明公开了面向社交平台的数据采集系统，包括：Web数据采集模块、APP数据采集模块和双终端数据对齐融合模块。本发明的方法与系统同时适用于Web端和APP端的社交平台数据采集，能够获得全量的社交平台数据。
-
公开(公告)号：CN112287272B
公开(公告)日：2023-05-23
申请号：CN202011161424.8
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，所述分类方法基于超文本标记语言标签(HTML Tag)，所述分类方法包括：步骤100、获取一组网站网页；步骤200、分别针对每一所述网站网页提取所述网站网页的统计特征和结构特征，得到每一所述网站网页对应的特征序列；步骤300、将所述特征序列输入神经网络进行所述神经网络的训练，得到网站列表页面分类器；步骤400、获取待分类的网站网页，根据所述步骤200得到所述待分类的网站网页的特征序列，将所述待分类的网站网页的特征序列输入所述步骤300得到的所述网站列表页面分类器，判断该待分类的网站网页是否为网站列表页面。
-
公开(公告)号：CN110704717A
公开(公告)日：2020-01-17
申请号：CN201910833905.X
申请日：2019-09-04
Applicant: 中国科学院计算技术研究所
IPC: G06F16/953 , G06F16/33
Abstract: 本发明提出一种基于动力学模型的网络突发事件检测方法及系统，包括：对指定的网络平台进行事件抽取，得到多个结构化事件，并将多个结构化事件中指向同一基本事件的结构化事件进行消解聚合，得到多个结构化事件对应的多个基本事件；以结构化事件的自身属性作为结构化事件的质量，并以结构化事件的传播流行度作为位移，根据位移和结构化事件的从发布到被采集的时间，通过动力学模型确定结构化事件的加速度；根据结构化事件的加速度和质量，通过动力学模型确定各结构化事件的外力，集合各基本事件中结构化事件的外力，作为各基本事件的外力，根据基本事件的外力确定网络平台中各基本事件是否为广义突发事件。
-
公开(公告)号：CN110781367B
公开(公告)日：2023-10-20
申请号：CN201910909270.7
申请日：2019-09-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/955
Abstract: 本发明提出一种基于中间人的互联网数据采集方法及系统，包括：通过安装中间人代理证书至网页信息采集设备，建立网页信息采集设备的中间人，网页信息采集设备访问互联网中网页信息时，中间人代理网页信息采集设备的全部网络流量；中间人获取包含待采集网页URL正则表达式的采集任务，捕获全部网络流量中符合URL正则表达式的流量，作为中间流量，并将采集任务注入中间流量的HTML页面中，得到待解析页面并将其存入第一数据库；解析模块根据第一数据库中待解析页面的URL信息，将待解析页面分发给解析器实例进行解析，从中获取包含结构化数据的网页采集结果并将其存入第二数据库。本发明能够支持所有依靠集成浏览器内核功能来提供信息的应用的数据采集。
-
公开(公告)号：CN112287273A
公开(公告)日：2021-01-29
申请号：CN202011161426.7
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，所述网站系基于超文本标记语言(HTML)，方法包括：步骤100，获取网站页面集合，页面归属于同一网站；步骤200，提取每一网站页面的文档对象模型(Document Object Model，DOM)的树结构特征和页面文本特征，分别构成DOM树结构特征空间和页面文本特征空间；步骤300，在DOM树结构特征空间和页面文本特征空间针对DOM树结构特征和页面文本特征分别进行聚类，分别得到结构类簇和文本类簇；步骤400，根据网站页面的网址链接(URL)，在结构类簇与文本类簇之间进行映射，当映射出现多对一的情况，则选择最大相交的结构类簇或者文本类簇，并找到所述最大相交的结构类簇或者文本类簇在网站中的最近公共父节点，该公共父节点即为列表页面。
-
Patent Agency Ranking
公开(公告)号：CN109814992A
公开(公告)日：2019-05-28
申请号：CN201811634642.1
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种用于大规模网络数据采集的分布式动态调度方法，包括：获取网络数据所在的信源；将参与数据采集的节点注册为采集节点或调度节点；获取数据采集的调度策略；根据该调度策略和该信源的信源信息，生成采集任务；将该采集任务传递至该采集节点的采集器，以配置并启动该采集器；通过该采集器执行该采集任务，以获取采集结果。本发明的分布式调度方法是采集器、信息来源无关的通用调度方法，本方法支持多种异构采集器，支持异构节点，支持采集节点与采集器的热插拔，动态扩展。
-
公开(公告)号：CN109815382B
公开(公告)日：2022-07-12
申请号：CN201811634238.4
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951
Abstract: 本发明涉及一种大规模网络数据的感知与获取方法，包括：感知网络数据的信息来源并将其拆分为信源，对该信源设置采集策略；生成采集任务，注册采集节点，以该注册节点拉取采集器并对其进行配置；根据该采集策略，通过该采集器执行该采集任务，获取结构化数据；监控该采集任务的执行状态，统计该结构化数据，并将监控结果和统计结果发送给用户。本发明的大规模网络数据感知与获取系统，按照不同的功能逻辑，划分为采集子平台、调度子平台、信源管理与配置子平台和监控与统计子平台，本系统是集大规模网络数据的感知发现、多信息来源的网络数据获取、高质量信息抽取及用户友好性交互界面于一体的通用大规模网络数据感知系统。
-
公开(公告)号：CN109819019B
公开(公告)日：2021-04-27
申请号：CN201811634634.7
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明涉及一种网络数据采集的监控与统计分析方法，包括：用户可查询采集节点的工作状态、调度节点的工作状态和采集任务的工作状态；对使用信源采集的结构化数据进行统计，以获取针对该信源的采集量，以及该信源的活跃等级，并根据该用户的查询请求，将该采集量和/或该活跃等级发送给该用户；通过比较该采集量的变化量和/或该结构化数据的相似度的变化量，获取该信源的实时状态，发现潜在失效信源，并推送给该用户，以辅助该用户对该信源进行管理。
-
公开(公告)号：CN112287272A
公开(公告)日：2021-01-29
申请号：CN202011161424.8
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，所述分类方法基于超文本标记语言标签(HTML Tag)，所述分类方法包括：步骤100、获取一组网站网页；步骤200、分别针对每一所述网站网页提取所述网站网页的统计特征和结构特征，得到每一所述网站网页对应的特征序列；步骤300、将所述特征序列输入神经网络进行所述神经网络的训练，得到网站列表页面分类器；步骤400、获取待分类的网站网页，根据所述步骤200得到所述待分类的网站网页的特征序列，将所述待分类的网站网页的特征序列输入所述步骤300得到的所述网站列表页面分类器，判断该待分类的网站网页是否为网站列表页面。
-
公开(公告)号：CN110795943A
公开(公告)日：2020-02-14
申请号：CN201910909274.5
申请日：2019-09-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种针对事件的话题表示生成方法及系统，包括：获取包含多个文档的文档集，且该多篇文档表述同一事件，提取该文档集中各个文档的标题，形成该事件的标题集合；通过对该标题集合中每N个标题获取其最长公共子序列，得到该标题集合的最长公共子序列集合；统计该最长公共子序列集合中各非空最长公共子序列的出现次数，选择出现次数最多的前K个高频最长公共子序列，从该前K个高频最长公共子序列中筛选出1个高频最长公共子序列作为该事件的话题表示。本发明无需人工干预，其中不存在人为因素，省时省力。因此，相比现有的技术，提高了针对事件的话题表示的可读性，经过筛选处理得到的话题表示也较精炼和准确。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.051 seconds)
