基于自动化驱动工具的社交网络数据采集方法和系统

    公开(公告)号:CN118626223A

    公开(公告)日:2024-09-10

    申请号:CN202410705471.6

    申请日:2024-06-03

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明公开了一种基于自动化驱动工具的社交网络数据采集方法,包括:获取输入的调度任务,将调度任务转化为结构化数据,并持久化到任务存储器;基于预设的优先级策略自动调整调度任务的执行顺序和执行频率;请求获取调度任务,根据与分配的调度任务匹配的预先配置的模板,采用自动化驱动工具于社交平台上自动采集分配的调度任务所需的数据;收集分配的调度任务的状态变化,待分配的调度任务完成后将采集到的数据上报,并修改分配的调度任务的下次执行时间。本发明可通过自动化驱动技术采集获取社交网络平台数据,可完成系统内持续任务的分类定级,根据各任务执行主体的状态动态分配任务以及资源回收。

    综合多模型的网络热点话题传播模式分类方法及系统

    公开(公告)号:CN116467454A

    公开(公告)日:2023-07-21

    申请号:CN202310504562.9

    申请日:2023-05-06

    摘要: 本发明公开了一种综合多模型的网络热点话题传播模式分类方法,其包括以下步骤:步骤一、收集平台t时间段内的目标热点话题的帖子数据;步骤二、基于帖子数据计算帖子基本维度信息;步骤三、绘制关于时间‑帖子数量的话题热度变化曲线;步骤四、提取目标热点话题的竞争性话题,并计算竞争性话题数量;步骤五、基于帖子数据,量化目标热点话题的传播角色的信息;步骤六、通过漏斗模型和网络模型,进行目标热点话题的传播模式识别分类。本发明构建了一种普适的网络热点话题传播模式识别分类方法,能够有效地判断话题的传播类型,即使在话题部分维度数据缺失的情况下仍然具有较好的分类结果。

    热点话题提取方法、装置、电子设备及存储介质

    公开(公告)号:CN117556043A

    公开(公告)日:2024-02-13

    申请号:CN202311490975.2

    申请日:2023-11-09

    摘要: 本公开涉及一种热点话题提取方法、装置、电子设备及存储介质。其中,热点话题提取方法包括:获取目标文本;获取目标文本对应的多个主题以及每个主题对应的词语概率分布向量;基于词语概率分布向量计算多个主题中各个主题之间的主题相似度,并计算每个主题对应的主题一致性;基于主题相似度和主题一致性,对多个主题进行合并处理,得到至少一个主题簇;计算至少一个主题簇中每个主题簇分别对应的主题流行度和主题新颖度,基于主题流行度和主题新颖度确定目标文本对应的热点话题,由此,能够在进行热点话题提取时考虑到文本中各个词语之间的语义和语法关联性,提高了提取的热点话题的准确性。

    文本深度语义匹配方法及其匹配装置

    公开(公告)号:CN118503360A

    公开(公告)日:2024-08-16

    申请号:CN202410669746.5

    申请日:2024-05-28

    摘要: 本发明公开了一种文本深度语义匹配方法,包括:构建词语级别交互信号模型:获取多维度词语交互信号向量矩阵和词向量堆叠矩阵,进行拼接得到词语级别的交互表示向量矩阵;构建句子级别交互信号模型:获取双向句向量余弦距离、双向句向量点积和双向句向量堆叠矩阵,进行拼接得到句子级别的交互表示向量矩阵;将词语级别和句子级别的交互表示向量矩阵进行拼接,得到整合向量矩阵;通过空间循环神经网络、最大池化采样以及多层感知机对整合向量矩阵处理得到两个文本的匹配度。还提供一种文本深度语义匹配装置。该方法能够将文本交互信号和句子表示信息集成,解决现有技术难以同时利用交互信号和句子表示信息,难以兼顾局部性信息和全局性信息的问题。

    基于ERNIE模型的态度检测方法、装置及设备

    公开(公告)号:CN116681066A

    公开(公告)日:2023-09-01

    申请号:CN202310499505.6

    申请日:2023-05-06

    发明人: 张翔宇 张旭 陈彤

    摘要: 本发明公开了基于ERNIE模型的态度检测方法,其特征在于,包括:获取待测某信息下的原创文本及其评论、转发关系,得所述待测某信息下的原创文本及其对应的评论文本和转发文本;基于ERNIE模型,对所述原创文本、评论文本和转发文本的态度进行检测,得文本态度检测结果;获取所述原创文本、评论文本和转发文本对应的用户ID和发布时间,根据所述文本态度检测结果,采用时间衰减函数和最大概率和的规则,对待测用户的态度进行检测,得用户态度检测结果;以及,基于ERNIE模型的态度检测装置。本发明具有对态度的识别的精度高、泛化能力强等优点。