-
公开(公告)号:CN118227796B
公开(公告)日:2024-07-19
申请号:CN202410641847.1
申请日:2024-05-23
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/35 , G06F16/33 , G06F40/289 , G06F40/30 , G06F18/24 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 长文本特定内容自动分类与阈值优化方法及其系统,涉及自然语言处理长文本领域。为了解决现有的长文本处理方法在自动分类时存在准确性差、效率低、动态调整、阈值自适应差的缺陷,本发明采用基于深度学习的长文本语义分析模型对待处理的长文本信息数据进行自动分类处理;对长文本进行动态分区域处理;对所述长文本信息数据的语义进行上下文感知融合,提高长文本内容自动分类的准确度;采用误差反馈机制动态调整分类阈值,从而实现长文本内容自动分类的阈值优化。本发明主要用于对互联网长文本的内容进行自动分类和阈值优化。
-
公开(公告)号:CN118227796A
公开(公告)日:2024-06-21
申请号:CN202410641847.1
申请日:2024-05-23
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/35 , G06F16/33 , G06F40/289 , G06F40/30 , G06F18/24 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 长文本特定内容自动分类与阈值优化方法及其系统,涉及自然语言处理长文本领域。为了解决现有的长文本处理方法在自动分类时存在准确性差、效率低、动态调整、阈值自适应差的缺陷,本发明采用基于深度学习的长文本语义分析模型对待处理的长文本信息数据进行自动分类处理;对长文本进行动态分区域处理;对所述长文本信息数据的语义进行上下文感知融合,提高长文本内容自动分类的准确度;采用误差反馈机制动态调整分类阈值,从而实现长文本内容自动分类的阈值优化。本发明主要用于对互联网长文本的内容进行自动分类和阈值优化。
-
公开(公告)号:CN117149948B
公开(公告)日:2024-07-23
申请号:CN202311056211.2
申请日:2023-08-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/335 , G06F16/35 , G06F18/241 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于向量动态扰动的新闻脉络关系检测方法及装置,所述方法包括:针对待检测新闻文本对,基于每一新闻文本数据中包含的实体,对新闻文本数据进行文本截取,以得到新文本数据对;获取至少一个预训练模型;基于预训练模型,获取新文本数据对的编码表示;基于待检测新闻文本中包含的事件及事件论元、实体、关键词,对各层CLS关系表示向量进行表示增强;对表示增强的各层CLS嵌入表示进行动态加权平均后,基于平均CLS嵌入表示预测该预训练模型对应的关系预测概率;对至少一个预训练模型对应的关系预测概率进行融合平均,得到待检测新闻文本的关系预测结果。本发明可以提高新闻脉络关系检测任务的准确率和泛化性能。
-
公开(公告)号:CN117149948A
公开(公告)日:2023-12-01
申请号:CN202311056211.2
申请日:2023-08-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/335 , G06F16/35 , G06F18/241 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于向量动态扰动的新闻脉络关系检测方法及装置,所述方法包括:针对待检测新闻文本对,基于每一新闻文本数据中包含的实体,对新闻文本数据进行文本截取,以得到新文本数据对;获取至少一个预训练模型;基于预训练模型,获取新文本数据对的编码表示;基于待检测新闻文本中包含的事件及事件论元、实体、关键词,对各层CLS关系表示向量进行表示增强;对表示增强的各层CLS嵌入表示进行动态加权平均后,基于平均CLS嵌入表示预测该预训练模型对应的关系预测概率;对至少一个预训练模型对应的关系预测概率进行融合平均,得到待检测新闻文本的关系预测结果。本发明可以提高新闻脉络关系检测任务的准确率和泛化性能。
-
-
-