一种基于多数据源的论文数据爬取方法及系统

    公开(公告)号:CN110704713B

    公开(公告)日:2022-02-08

    申请号:CN201910916820.8

    申请日:2019-09-26

    Abstract: 本发明公开一种基于多数据源的论文数据爬取方法及系统,进行批量关键词论文数据抓取。爬取任务执行前,使用关键词或论文基本信息拼接URL,并将其添加至待抓取队列;执行时,程序分多个子爬取线程,分别从已经经过任务调度算法均衡的多个待爬取队列中取出任务进行源码抓取;执行后,从抓取回的网页源码中解析出所需要的字段,结果存储进数据库中,构建论文数据数据库。相比现有技术,本发明能够提供更高效且全面的论文爬取功能,在服务用户的检索需求时可以快速响应并且将各数据源的查询结果融合展示在用户面前,可以使用户无需对每个数据源的检索结果进行甄别与比对,极大地方便了用户的使用,节约了用户的时间。

    用于移动互联网海量监测数据的分级分类处理方法及系统

    公开(公告)号:CN110110081B

    公开(公告)日:2021-05-11

    申请号:CN201910279309.1

    申请日:2019-04-09

    Abstract: 本发明公开了一种用于移动互联网海量监测数据的分级分类处理方法,包括以下步骤:接收并解析监测日志数据,获取监测日志数据的协议类型;根据监测日志数据的协议类型,确定监测日志数据的存储级别;根据监测日志数据的存储级别,对监测日志数据进行存储本发明提供的将移动互联网海量数据按需分级分类监测的方法,可以根据业务需求动态配置数据分级分类存储的策略,并在海量日志数据向后端存储系统发送时加入分级存储的标签;通过对日志的分级、分类存储在能够满足业务需求的情况下减少对存储空间的使用,提升系统存储效率。

    一种虚拟化攻防对抗环境构建方法

    公开(公告)号:CN111786983A

    公开(公告)日:2020-10-16

    申请号:CN202010592496.1

    申请日:2020-06-24

    Abstract: 本发明涉及一种虚拟化攻防对抗环境构建方法,支持一键部署虚拟化对抗环境,在虚拟节点引入流量探针、主机节点主动监控服务、加固脚本检测和攻击事件判定,根据攻击流量和提交Flag信息判定攻击成功;而且构建镜像分为系统级别镜像和应用级别镜像,分别通过虚拟化组件和轻量级虚拟化构建镜像,简单易操作;在所构建虚拟化攻防对抗环境中,每位选手和对抗环境的虚拟节点建立是一对一关系,选手会分配具有Root权限的账号,保证每位选手设备与设备是隔离的;不仅如此,本发明进一步设计了应用虚拟化攻防对抗环境构建方法的系统,应用模块化之间的相互协作,高效实现虚拟化攻防对抗环境的快速构建,为虚拟化攻防对抗提供平台保障。

    科技领域的综合推荐方法及装置

    公开(公告)号:CN110675083A

    公开(公告)日:2020-01-10

    申请号:CN201910947748.5

    申请日:2019-10-08

    Abstract: 本发明公开了一种科技领域的综合推荐方法,包括:建立科技信息库;采用主观经验法设置多个维度、多个指标、各指标的指标权重、各维度的维度权重;获取每位科研人员的各指标的数据,无量纲化处理,得指标值,计算每位科研人员每个维度的维度总分,并在同一维度下按降序排序,取排名前K1位的科研人员;计算得到每位科研人员的综合得分,按降序排序,排名前K2位的科研人员。本方法具有自由设置维度和指标,精准、全面、方便、快捷的推荐科研人员的有益效果。本发明公开了一种科技领域的综合推荐装置,包括存储模块、数据处理模块、科研人员推荐模块。本发明具有自由设置维度和指标,精准、全面、方便、快捷的推荐科研人员的有益效果。

Patent Agency Ranking