-
公开(公告)号：CN114417211A
公开(公告)日：2022-04-29
申请号：CN202111319929.7
申请日：2021-11-09
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F16/958 , G06F16/9536 , G06Q50/00
Abstract: 本发明公开了一种面向社交平台的数据采集方法，包括：1)在主机上通过模拟用户发出的浏览器访问请求获取社交平台上相关页面的Web页面数据；2)将真机或模拟器连接主机，模拟用户发出的APP访问请求，在主机上设置网络代理，拦截APP访问请求获得相应的HTTP/HTTPS请求，获取社交平台上相关页面的APP页面数据；3)将Web页面数据和APP页面数据分别进行页面解析、数据对齐融合，输出并存入数据库。本发明公开了面向社交平台的数据采集系统，包括：Web数据采集模块、APP数据采集模块和双终端数据对齐融合模块。本发明的方法与系统同时适用于Web端和APP端的社交平台数据采集，能够获得全量的社交平台数据。
-
公开(公告)号：CN110442421B
公开(公告)日：2022-04-01
申请号：CN201910578655.X
申请日：2019-06-28
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F9/455
Abstract: 本发明提出一种基于Kubernetes的通用服务转换方法和系统，包括：构建由多个节点构成的Kubernetes系统，其中节点的Pod设有用于提供服务的原服务容器，并通过在Pod中新添加容器的方式或通过原容器镜像的方式，在节点的Pod中加入转换程序；每当发生一次服务调用请求，转换容器或程序根据配置，将服务调用请求转换为原服务执行请求，通过调用原服务容器，提供相对应的服务，并转换成该服务调用请求所对应的服务结果。本发明可解决Kubernetes服务与调用者之间接口不一致的问题；并可减少转换程序与服务程序、调用程序之间的网络开销，同时结合Kubernetes特性，服务程序重新部署时，转换程序自动跟随部署。
-
公开(公告)号：CN112667872A
公开(公告)日：2021-04-16
申请号：CN202011290564.5
申请日：2020-11-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/9532 , G06F16/25 , G06F9/445 , G16H50/80
Abstract: 本发明公开了新冠肺炎疫情数据的实时采集方法，包括以下步骤：一、建立配置文件，将多个信源网站内实时反映疫情数据的网页的基本信息预置在配置文件中，包括多个字段的名称、各字段的存储路径，各字段的被采纳次数；二、采集网页数据，通过配置文件中待采集字段的存储路径从多个信源网站采集待采集字段当前的数值；三、数据对齐处理，以待采集字段的数据对齐结果为待采集字段的采集数据；步骤四、更新配置文件，将各信源网站中待采集字段的数值与待采集字段的采集数据相同的信源网站中待采集字段的被采纳次数加1。本发明的方法从多个信源网站的实时数据中获取可信度最高的数据作为采集数据，提高了疫情实时数据的准确性。
-
公开(公告)号：CN109388768A
公开(公告)日：2019-02-26
申请号：CN201811008673.6
申请日：2018-08-31
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/958
Abstract: 本发明涉及一种基于附加分支处理服务的采集方法和系统，包括：获取采集任务，该采集任务具有多个处理步骤和分支号；依次执行该采集任务中的处理步骤，并在每一个处理步骤执行前，根据该分支号判断是否调用该附加分支处理服务，若是，则通过调用该附加分支处理服务执行附加处理流程，并替代将要执行的处理步骤，否则执行将要执行的处理步骤。由此，本发明采用附加分支的技术，能够应对信源的各种复杂情况。且针对附加分支单独开发，容易崩溃的情况，采用服务化方法执行附加分支，并且附加分支运行器可以在崩溃自动重启，可以避免附加分支崩溃带来的采集器崩溃问题。
-
公开(公告)号：CN109241483A
公开(公告)日：2019-01-18
申请号：CN201811008674.0
申请日：2018-08-31
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/958
Abstract: 本发明涉及一种基于域名推荐的网站发现方法，包括：在域名字符集随机选取任意字符排列组合以获得词根字符串；以该词根字符串组成候选字符串；将该候选字符串与候选域名后缀进行拼接，组成推荐域名；对该推荐域名进行DNS解析，以判断为合法的该推荐域名为合法域名；验证该合法域名是否存在对应网站，若存在则获取为目标网站。
-
Patent Agency Ranking
公开(公告)号：CN112668316A
公开(公告)日：2021-04-16
申请号：CN202011290565.X
申请日：2020-11-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F40/258 , G06F40/205 , G06F16/35 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种word文档关键信息抽取方法，其包括：步骤一、获取源word文档，遍历word文档的段落，对于任一段落，判断段落是否具有模板样式属性，若具有模板样式属性，则进入步骤二，否则进入步骤三；步骤二、根据段落的模板样式属性获取段落信息类别，并与预设的待抽取关键信息类别列表进行匹配，将段落抽取并输入至输出文件一中所属信息类别对应的区域；步骤三、基于预设的神经网络模型识别段落的信息类别，并与预设的待抽取关键信息类别列表进行匹配，将段落抽取并输入所属信息类别对应的区域。本发明利用了word文档中的模板样式属性的信息，从而极大地提高了word文档抽取关键信息地效率。
-
公开(公告)号：CN110442421A
公开(公告)日：2019-11-12
申请号：CN201910578655.X
申请日：2019-06-28
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F9/455
Abstract: 本发明提出一种基于Kubernetes的通用服务转换方法和系统，包括：构建由多个节点构成的Kubernetes系统，其中节点的Pod设有用于提供服务的原服务容器，并通过在Pod中新添加容器的方式或通过原容器镜像的方式，在节点的Pod中加入转换程序；每当发生一次服务调用请求，转换容器或程序根据配置，将服务调用请求转换为原服务执行请求，通过调用原服务容器，提供相对应的服务，并转换成该服务调用请求所对应的服务结果。本发明可解决Kubernetes服务与调用者之间接口不一致的问题；并可减少转换程序与服务程序、调用程序之间的网络开销，同时结合Kubernetes特性，服务程序重新部署时，转换程序自动跟随部署。
-
公开(公告)号：CN108897749A
公开(公告)日：2018-11-27
申请号：CN201810355382.8
申请日：2018-04-19
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及一种基于语法树和文本块密度的网页信息抽取方法，包括：获取网页的标题文本信息；设定筛选阈值，计算该网页所有节点的文本块密度，以该文本块密度大于该筛选阈值的节点为采集节点，提取该采集节点的节点文本信息；若该采集节点的数量为1，则以该节点文本信息为目标信息进行抽取；若该采集节点的数量大于1，则将该标题文本信息和该节点文本信息分别转换为唯一表达句子语义的标题深层语法树和节点深层语法树；获得每个该节点深层语法树与该标题深层语法树的整体相似度，以该整体相似度中的最大值对应的节点文本信息为目标信息进行抽取。
-
公开(公告)号：CN108769115A
公开(公告)日：2018-11-06
申请号：CN201810354384.5
申请日：2018-04-19
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: H04L29/08
CPC classification number: H04L67/1008
Abstract: 本发明涉及一种分布式RSS数据采集系统，包括：分布于网络的至少一个采集节点模块，用于采集该网络上的RSS数据；注册中心，用于保存所有该采集节点模块的信息，并将该信息提供给该调度模块；调度模块，用于根据该信息将采集任务分配给该采集节点模块。分布式RSS数据采集方法包括：通过注册中心收集分布于网络的采集节点模块的信息；通过调度模块拉取采集任务；通过该调度模块拉取该信息；根据该信息将该采集任务分配给该采集节点模块；采集该网络上的RSS数据。
-
公开(公告)号：CN112667872B
公开(公告)日：2023-04-07
申请号：CN202011290564.5
申请日：2020-11-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/9532 , G06F16/25 , G06F9/445 , G16H50/80
Abstract: 本发明公开了新冠肺炎疫情数据的实时采集方法，包括以下步骤：一、建立配置文件，将多个信源网站内实时反映疫情数据的网页的基本信息预置在配置文件中，包括多个字段的名称、各字段的存储路径，各字段的被采纳次数；二、采集网页数据，通过配置文件中待采集字段的存储路径从多个信源网站采集待采集字段当前的数值；三、数据对齐处理，以待采集字段的数据对齐结果为待采集字段的采集数据；步骤四、更新配置文件，将各信源网站中待采集字段的数值与待采集字段的采集数据相同的信源网站中待采集字段的被采纳次数加1。本发明的方法从多个信源网站的实时数据中获取可信度最高的数据作为采集数据，提高了疫情实时数据的准确性。
-
-
-
-
-
-
-
-
-
Search Results
138
records
(took 0.091 seconds)
