基于自动化驱动工具的社交网络数据采集方法和系统

    公开(公告)号:CN118626223A

    公开(公告)日:2024-09-10

    申请号:CN202410705471.6

    申请日:2024-06-03

    Abstract: 本发明公开了一种基于自动化驱动工具的社交网络数据采集方法,包括:获取输入的调度任务,将调度任务转化为结构化数据,并持久化到任务存储器;基于预设的优先级策略自动调整调度任务的执行顺序和执行频率;请求获取调度任务,根据与分配的调度任务匹配的预先配置的模板,采用自动化驱动工具于社交平台上自动采集分配的调度任务所需的数据;收集分配的调度任务的状态变化,待分配的调度任务完成后将采集到的数据上报,并修改分配的调度任务的下次执行时间。本发明可通过自动化驱动技术采集获取社交网络平台数据,可完成系统内持续任务的分类定级,根据各任务执行主体的状态动态分配任务以及资源回收。

    一种基于弱监督学习的网络空间测绘方法

    公开(公告)号:CN117093915A

    公开(公告)日:2023-11-21

    申请号:CN202311179247.X

    申请日:2023-09-13

    Abstract: 本发明公开了一种基于弱监督学习的网络空间测绘方法,包括以下步骤:S1、建立公共网络空间测绘IP地址库,识别已知IP信息;利用自有的基础资源数据,对单位归属较为明确的IP进行信息收集;S2、识别非已知IP地址的IP地址关联信息。本发明中,通过自研的资产识别算法,利用弱监督学习算法提取网站特征,制作高精度资产标签,对互联网资产进行空间测绘,测绘的主要内容包括IP街道级地理位置、行业分类、IP端口服务信息、证书信息、网站特征信息等,以空间测绘地图与矢量地形图相结合的方式,将数据呈现。网络空间测绘地图作为数字化时代实现数字化生产生活和数字化治理的基础设施,对提供网络安全事件监测分析、应急响应、攻击溯源都具有重要意义。

    基于社交工具的区域数据回溯分析方法及系统

    公开(公告)号:CN116821455A

    公开(公告)日:2023-09-29

    申请号:CN202310511094.8

    申请日:2023-05-08

    Inventor: 张传新 张旭 王鹏

    Abstract: 本发明公开了一种基于社交工具的区域数据回溯分析方法,包括:步骤一,提供一个前端浏览器访问页面,创建区域任务参数,将区域任务转化成json格式存放并进入消息队列;步骤二,实时监听消息队列,解析得到区域任务并分发到各个节点;步骤三,各个节点通过所述区域任务参数对社交工具的区域数据进行回溯获取;步骤四,对获取的每条数据进行分析,包括计算哈希值、提取关键词、标记语言标签;步骤五,以索引的形式将每条数据的分析结果及其原始数据存储入库。本发明还公开了一种基于社交工具的区域数据回溯分析系统,及电子设备和存储介质。本发明通过对特定地理区域的社交工具数据获取,能够实现对获取到的数据结合具体的业务逻辑进行分析。

    基于虚拟设备生成采集资源的方法和系统

    公开(公告)号:CN116782199A

    公开(公告)日:2023-09-19

    申请号:CN202310505748.6

    申请日:2023-05-08

    Inventor: 王鹏 张旭 刘春阳

    Abstract: 本发明公开了一种基于虚拟设备生成采集资源的方法,包括:构建虚拟移动终端设备;基于虚拟移动终端设备的设备信息,利用移动客户端进行注册并生成采集资源;对采集资源进行可用性测试;保存可用的采集资源。本发明通过虚拟移动终端设备生成采集资源,使用生成的采集资源访问移动客户端进行数据采集,使采集的数据与构建的虚拟移动终端设备关联,从而实现特定设备的精准数据采集,同时也可快速收集设备和应用程序的基础信息。其次,由于移动终端设备是虚拟构建的,因此无需购买实体设备,降低了数据采集成本、管理成本和管理复杂度。

    综合多模型的网络热点话题传播模式分类方法及系统

    公开(公告)号:CN116467454A

    公开(公告)日:2023-07-21

    申请号:CN202310504562.9

    申请日:2023-05-06

    Abstract: 本发明公开了一种综合多模型的网络热点话题传播模式分类方法,其包括以下步骤:步骤一、收集平台t时间段内的目标热点话题的帖子数据;步骤二、基于帖子数据计算帖子基本维度信息;步骤三、绘制关于时间‑帖子数量的话题热度变化曲线;步骤四、提取目标热点话题的竞争性话题,并计算竞争性话题数量;步骤五、基于帖子数据,量化目标热点话题的传播角色的信息;步骤六、通过漏斗模型和网络模型,进行目标热点话题的传播模式识别分类。本发明构建了一种普适的网络热点话题传播模式识别分类方法,能够有效地判断话题的传播类型,即使在话题部分维度数据缺失的情况下仍然具有较好的分类结果。

    基于无监督聚类的长文本可信度评估方法及系统

    公开(公告)号:CN110287314B

    公开(公告)日:2021-08-06

    申请号:CN201910418900.0

    申请日:2019-05-20

    Abstract: 本发明涉及一种基于无监督聚类的长文本可信度评估方法,包括:以已知长文本获取训练数据,提取该训练数据的训练特征以构建训练特征向量集,对该训练特征向量集进行无监督聚类,得到多个训练类心;以待评估长文本获取评估数据,提取该评估数据的评估特征向量;获取该评估特征向量相对该训练类心的评估值,并以该评估值得到该待评估长文本的可信度。本发明通过无监督聚类对长文本进行可信度评估,在实施过程中不需要标注数据,节省了人力、物力与时间,避免了数据中标签稀疏带来的困扰;提取了长文本的文本特征,对于可信度评估任务更加适用,使用该模型得到的文本的可信度更具有可解释性,同时在平台之间可以迁移。

Patent Agency Ranking