-
公开(公告)号：CN109819019A
公开(公告)日：2019-05-28
申请号：CN201811634634.7
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明涉及一种网络数据采集的监控与统计分析方法，包括：用户可查询采集节点的工作状态、调度节点的工作状态和采集任务的工作状态；对使用信源采集的结构化数据进行统计，以获取针对该信源的采集量，以及该信源的活跃等级，并根据该用户的查询请求，将该采集量和/或该活跃等级发送给该用户；通过比较该采集量的变化量和/或该结构化数据的相似度的变化量，获取该信源的实时状态，发现潜在失效信源，并推送给该用户，以辅助该用户对该信源进行管理。
-
公开(公告)号：CN112287274B
公开(公告)日：2022-10-18
申请号：CN202011162449.X
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，方法包括：步骤100，获取一组网站页面集合，网站页面集合归属于同一网站；步骤200，分别针对每一网站页面提取网页数据特征；步骤300，通过网站页面的超链接列表以及网站网页的链接地址(URL)与节点编号之间的匹配关系形成的哈希表，创建网站的全局拓扑结构；步骤400，将网页数据特征以及网站的全局拓扑结构输入图卷积神经网络进行图卷积神经网络的训练，得到网站列表页面分类器；步骤500，获取待分类的网站网页，分别根据待分类的网站网页的网页数据特征和网站的全局拓扑结构，并将待分类的网站网页的网页数据特征和网站的全局拓扑结构输入网站列表页面分类器，判断该待分类的网站网页是否为网站列表页面。
-
公开(公告)号：CN112287273B
公开(公告)日：2022-09-30
申请号：CN202011161426.7
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，所述网站系基于超文本标记语言(HTML)，方法包括：步骤100，获取网站页面集合，页面归属于同一网站；步骤200，提取每一网站页面的文档对象模型(Document Object Model，DOM)的树结构特征和页面文本特征，分别构成DOM树结构特征空间和页面文本特征空间；步骤300，在DOM树结构特征空间和页面文本特征空间针对DOM树结构特征和页面文本特征分别进行聚类，分别得到结构类簇和文本类簇；步骤400，根据网站页面的网址链接(URL)，在结构类簇与文本类簇之间进行映射，当映射出现多对一的情况，则选择最大相交的结构类簇或者文本类簇，并找到所述最大相交的结构类簇或者文本类簇在网站中的最近公共父节点，该公共父节点即为列表页面。
-
公开(公告)号：CN109840298B
公开(公告)日：2021-09-24
申请号：CN201811637902.0
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/955
Abstract: 本发明涉及一种大规模网络数据的多信息来源采集方法，包括：获取多种传媒上的网络数据所在的信源；生成采集任务，启动并初始化采集节点上的采集器；将该采集任务的参数配置信息加载至该采集器；以该采集器获取该信源的目标信息内容链接，并建立链接队列；以该采集器依次采集该链接队列中对应的目标信息内容为结构化数据；将该结构化数据进行持久化操作，并进行输出。本发明提出的方法可以感知信息来源的变化，能够定点定主题的获取信息来源的网络数据，并且具有泛化能力，采集能力与传媒种类无关。
-
公开(公告)号：CN109753596B
公开(公告)日：2021-05-25
申请号：CN201811637397.X
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/95
Abstract: 本发明涉及一种网络数据采集的信源管理与配置方法，包括：感知网络数据的信息来源，将该信息来源拆分为传媒、信簇和信源；根据信簇类别对该信簇进行类别标注；根据信源类别对该信源进行类别标注；根据该信源的信源类别配置采集模板；根据该信源所包含的网络数据配置抽取模板；当验证该信源为潜在失效信源时，将该信源置为无效，或重新配置该采集模板和/或该抽取模板。本发明的信源管理与配置系统，通过“传媒‑信簇‑信源”三级结构的分层概念体系和多维度的信息来源分类体系对来自不同类型的信息来源进行合理高效组织，进而实现对大规模网络信息来源的精确感知并设计采集策略。
-
Patent Agency Ranking
公开(公告)号：CN112287274A
公开(公告)日：2021-01-29
申请号：CN202011162449.X
申请日：2020-10-27
Applicant: 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/35 , G06F16/957 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种网站列表页面的分类方法，方法包括：步骤100，获取一组网站页面集合，网站页面集合归属于同一网站；步骤200，分别针对每一网站页面提取网页数据特征；步骤300，通过网站页面的超链接列表以及网站网页的链接地址(URL)与节点编号之间的匹配关系形成的哈希表，创建网站的全局拓扑结构；步骤400，将网页数据特征以及网站的全局拓扑结构输入图卷积神经网络进行图卷积神经网络的训练，得到网站列表页面分类器；步骤500，获取待分类的网站网页，分别根据待分类的网站网页的网页数据特征和网站的全局拓扑结构，并将待分类的网站网页的网页数据特征和网站的全局拓扑结构输入网站列表页面分类器，判断该待分类的网站网页是否为网站列表页面。
-
公开(公告)号：CN109840298A
公开(公告)日：2019-06-04
申请号：CN201811637902.0
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/955
Abstract: 本发明涉及一种大规模网络数据的多信息来源采集方法，包括：获取多种传媒上的网络数据所在的信源；生成采集任务，启动并初始化采集节点上的采集器；将该采集任务的参数配置信息加载至该采集器；以该采集器获取该信源的目标信息内容链接，并建立链接队列；以该采集器依次采集该链接队列中对应的目标信息内容为结构化数据；将该结构化数据进行持久化操作，并进行输出。本发明提出的方法可以感知信息来源的变化，能够定点定主题的获取信息来源的网络数据，并且具有泛化能力，采集能力与传媒种类无关。
-
公开(公告)号：CN109753596A
公开(公告)日：2019-05-14
申请号：CN201811637397.X
申请日：2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/95
Abstract: 本发明涉及一种网络数据采集的信源管理与配置方法，包括：感知网络数据的信息来源，将该信息来源拆分为传媒、信簇和信源；根据信簇类别对该信簇进行类别标注；根据信源类别对该信源进行类别标注；根据该信源的信源类别配置采集模板；根据该信源所包含的网络数据配置抽取模板；当验证该信源为潜在失效信源时，将该信源置为无效，或重新配置该采集模板和/或该抽取模板。本发明的信源管理与配置系统，通过“传媒-信簇-信源”三级结构的分层概念体系和多维度的信息来源分类体系对来自不同类型的信息来源进行合理高效组织，进而实现对大规模网络信息来源的精确感知并设计采集策略。
-
公开(公告)号：CN112307278B
公开(公告)日：2024-02-23
申请号：CN202011154213.1
申请日：2020-10-26
Applicant: 中国科学院计算技术研究所
IPC: G06F16/903 , G06F16/901
Abstract: 本发明提出一种任意尺度的话题脉络实时生成方法及系统，包括：获取话题历史数据，该话题历史数据包括指定时间范围内预设时间单位的子话题及各子话题所包含的文档；以子话题作为节点，根据该指定时间范围内子话题间的相关性，建立节点间的连边，得到该话题历史数据的图数据；通过动态规划得到该指定时间范围内预设时间单位中各节点的路径权值最大的前k条路径，从所有的出度为0的各节点的该前k条路径中选出权值最大的前k条路径作为该话题历史数据的话题脉络，其中k为正整数。
-
公开(公告)号：CN110705597B
公开(公告)日：2022-11-11
申请号：CN201910833900.7
申请日：2019-09-04
Applicant: 中国科学院计算技术研究所
IPC: G06K9/62 , G06F16/953
Abstract: 本发明提出一种基于事件因果关系抽取的网络苗头事件检测方法及系统，包括：将苗头因果事件对中原因事件作为苗头事件，存入苗头事件样本库，以苗头事件样本库的数据作为训练集，训练基于机器学习的第一苗头事件分类器，并将苗头因果事件对的因果联系作为苗头事件判定规则，存入苗头事件判定规则库，以苗头事件判定规则库构建基于规则的第二苗头事件分类器；对指定的网络平台进行事件抽取，得到多个结构化事件，并将多个结构化事件中指代同一个事件的结构化事件统一为一个共指事件，并对共指事件进行泛化，得到网络平台的抽象事件，使用第一苗头事件分类器和第二苗头事件分类器分别处理抽象事件，综合两者的结果作为网络平台苗头事件的检测结果。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.05 seconds)
