-
公开(公告)号:CN110427264A
公开(公告)日:2019-11-08
申请号:CN201910578638.6
申请日:2019-06-28
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F9/50 , G06F16/951
Abstract: 本发明提出一种基于Kubernetes的JS解析方法及系统,包括:多台物理机、采集结果库、系统监控模块和解析任务控制模块;物理机,用于根据任务部署JS解析Pod,执行网页采集,将得到的采集结果存至采集结果库;系统监控模块,用于自动读取物理机的机器信息;解析任务控制模块,用于查询系统监控模块,得到各物理机的机器信息,以计算各物理机应部署的JS解析Pod个数,调用Kubernetes API调整各物理机的JS解析Pod个数。本发明有效的利用了空闲时间执行JS解析相关任务,并减小了JS解析的资源消耗。
-
公开(公告)号:CN112668316A
公开(公告)日:2021-04-16
申请号:CN202011290565.X
申请日:2020-11-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F40/258 , G06F40/205 , G06F16/35 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种word文档关键信息抽取方法,其包括:步骤一、获取源word文档,遍历word文档的段落,对于任一段落,判断段落是否具有模板样式属性,若具有模板样式属性,则进入步骤二,否则进入步骤三;步骤二、根据段落的模板样式属性获取段落信息类别,并与预设的待抽取关键信息类别列表进行匹配,将段落抽取并输入至输出文件一中所属信息类别对应的区域;步骤三、基于预设的神经网络模型识别段落的信息类别,并与预设的待抽取关键信息类别列表进行匹配,将段落抽取并输入所属信息类别对应的区域。本发明利用了word文档中的模板样式属性的信息,从而极大地提高了word文档抽取关键信息地效率。
-
公开(公告)号:CN110442421A
公开(公告)日:2019-11-12
申请号:CN201910578655.X
申请日:2019-06-28
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F9/455
Abstract: 本发明提出一种基于Kubernetes的通用服务转换方法和系统,包括:构建由多个节点构成的Kubernetes系统,其中节点的Pod设有用于提供服务的原服务容器,并通过在Pod中新添加容器的方式或通过原容器镜像的方式,在节点的Pod中加入转换程序;每当发生一次服务调用请求,转换容器或程序根据配置,将服务调用请求转换为原服务执行请求,通过调用原服务容器,提供相对应的服务,并转换成该服务调用请求所对应的服务结果。本发明可解决Kubernetes服务与调用者之间接口不一致的问题;并可减少转换程序与服务程序、调用程序之间的网络开销,同时结合Kubernetes特性,服务程序重新部署时,转换程序自动跟随部署。
-
公开(公告)号:CN110287314A
公开(公告)日:2019-09-27
申请号:CN201910418900.0
申请日:2019-05-20
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/35
Abstract: 本发明涉及一种基于无监督聚类的长文本可信度评估方法,包括:以已知长文本获取训练数据,提取该训练数据的训练特征以构建训练特征向量集,对该训练特征向量集进行无监督聚类,得到多个训练类心;以待评估长文本获取评估数据,提取该评估数据的评估特征向量;获取该评估特征向量相对该训练类心的评估值,并以该评估值得到该待评估长文本的可信度。本发明通过无监督聚类对长文本进行可信度评估,在实施过程中不需要标注数据,节省了人力、物力与时间,避免了数据中标签稀疏带来的困扰;提取了长文本的文本特征,对于可信度评估任务更加适用,使用该模型得到的文本的可信度更具有可解释性,同时在平台之间可以迁移。
-
公开(公告)号:CN112667872B
公开(公告)日:2023-04-07
申请号:CN202011290564.5
申请日:2020-11-17
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/9532 , G06F16/25 , G06F9/445 , G16H50/80
Abstract: 本发明公开了新冠肺炎疫情数据的实时采集方法,包括以下步骤:一、建立配置文件,将多个信源网站内实时反映疫情数据的网页的基本信息预置在配置文件中,包括多个字段的名称、各字段的存储路径,各字段的被采纳次数;二、采集网页数据,通过配置文件中待采集字段的存储路径从多个信源网站采集待采集字段当前的数值;三、数据对齐处理,以待采集字段的数据对齐结果为待采集字段的采集数据;步骤四、更新配置文件,将各信源网站中待采集字段的数值与待采集字段的采集数据相同的信源网站中待采集字段的被采纳次数加1。本发明的方法从多个信源网站的实时数据中获取可信度最高的数据作为采集数据,提高了疫情实时数据的准确性。
-
公开(公告)号:CN109241483B
公开(公告)日:2021-10-12
申请号:CN201811008674.0
申请日:2018-08-31
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/958
Abstract: 本发明涉及一种基于域名推荐的网站发现方法,包括:在域名字符集随机选取任意字符排列组合以获得词根字符串;以该词根字符串组成候选字符串;将该候选字符串与候选域名后缀进行拼接,组成推荐域名;对该推荐域名进行DNS解析,以判断为合法的该推荐域名为合法域名;验证该合法域名是否存在对应网站,若存在则获取为目标网站。
-
公开(公告)号:CN118657148A
公开(公告)日:2024-09-17
申请号:CN202410681340.9
申请日:2024-05-29
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/295 , G06F40/205 , G06F40/126 , G06F16/33
Abstract: 本发明提供一种实体关系抽取方法、装置、电子设备以及存储介质,涉及人工智能技术领域。实体关系抽取方法包括:利用注意力模型,处理待处理文本以及目标实体关系词,得到实体关系判别信息;利用实体关系判别信息,得到目标第一命名实体与候选第二命名实体在待处理文本中的第一关联度、目标第一命名实体与目标实体关系词在待处理文本中的第二关联度,以及候选第二命名实体与目标实体关系词在待处理文本中的第三关联度;响应于第一关联度、第二关联度以及第三关联度均大于各自对应的预设阈值,从待处理文本中抽取出目标第一命名实体和候选第二命名实体之间的待抽取的实体关系。本发明可以准确、高效地执行实体关系抽取任务。
-
公开(公告)号:CN118626223A
公开(公告)日:2024-09-10
申请号:CN202410705471.6
申请日:2024-06-03
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于自动化驱动工具的社交网络数据采集方法,包括:获取输入的调度任务,将调度任务转化为结构化数据,并持久化到任务存储器;基于预设的优先级策略自动调整调度任务的执行顺序和执行频率;请求获取调度任务,根据与分配的调度任务匹配的预先配置的模板,采用自动化驱动工具于社交平台上自动采集分配的调度任务所需的数据;收集分配的调度任务的状态变化,待分配的调度任务完成后将采集到的数据上报,并修改分配的调度任务的下次执行时间。本发明可通过自动化驱动技术采集获取社交网络平台数据,可完成系统内持续任务的分类定级,根据各任务执行主体的状态动态分配任务以及资源回收。
-
公开(公告)号:CN116467454A
公开(公告)日:2023-07-21
申请号:CN202310504562.9
申请日:2023-05-06
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/35 , G06F16/9537 , G06F40/194
Abstract: 本发明公开了一种综合多模型的网络热点话题传播模式分类方法,其包括以下步骤:步骤一、收集平台t时间段内的目标热点话题的帖子数据;步骤二、基于帖子数据计算帖子基本维度信息;步骤三、绘制关于时间‑帖子数量的话题热度变化曲线;步骤四、提取目标热点话题的竞争性话题,并计算竞争性话题数量;步骤五、基于帖子数据,量化目标热点话题的传播角色的信息;步骤六、通过漏斗模型和网络模型,进行目标热点话题的传播模式识别分类。本发明构建了一种普适的网络热点话题传播模式识别分类方法,能够有效地判断话题的传播类型,即使在话题部分维度数据缺失的情况下仍然具有较好的分类结果。
-
公开(公告)号:CN113946734A
公开(公告)日:2022-01-18
申请号:CN202110978180.0
申请日:2021-08-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/951 , G06F16/955 , G06F9/54
Abstract: 本发明公开了基于爬虫的数据采集系统,包括:URL管理器,用于获取URL链接;HTML下载器,用于根据所述URL链接下载HTML网页;HTML解析器,用于解析所述HTML网页的源代码,获得网页数据;数据存储器,用于存储所述网页数据。本发明使用方便,用户体验好。
-
-
-
-
-
-
-
-
-