-
公开(公告)号:CN106095928B
公开(公告)日:2019-10-29
申请号:CN201610409465.1
申请日:2016-06-12
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种事件类型识别方法及装置。该方法包括以下步骤:对训练集中所有文本进行分词、提取词性处理后训练词向量空间模型,提取文本的特征,将文本表示为特征向量;对于训练集进行事件类型聚类,训练带有类型聚类正则化项的神经网络模型;对于测试样本同样进行分析、提取词性处理,并利用已经训练好的词向量模型,得到特征表示;利用类型聚类正则化项的神经网络模型进行事件类别识别。借助于本发明的技术方案,能够利用同一群组中的类型共享信息来减轻标注数据不平衡带来的问题。
-
公开(公告)号:CN110134947A
公开(公告)日:2019-08-16
申请号:CN201910307654.1
申请日:2019-04-17
Applicant: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提出一种基于不平衡多源数据的情感分类方法,包括:获取来自多个数据源的训练数据,其中训练数据包含多条文本数据,每条文本数据具有情感类型标签和其对应的数据源;按数据源对训练数据进行分类,以集合每个数据源对应的文本数据作为第一数据集,根据每个第一数据集中各情感类型标签的数量,统计每个第一数据集中情感类型的标准差,选择标准差最小的第一数据作为预训练集,其余第一数据集作为后续训练集;以预训练集训练神经网络模型的权值直到损失函数收敛,输出神经网络模型作为预分类模型,以后续训练集继续训练预分类模型直到损失函数收敛,输出预分类模型作为最终分类模型;将待情感分类文本数据输入最终分类模型,得到其情感类型。
-
公开(公告)号:CN118821774A
公开(公告)日:2024-10-22
申请号:CN202410768549.9
申请日:2024-06-14
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F40/295 , G06N3/0442 , G06N3/0455 , G06N3/08
Abstract: 本发明公开一种基于序列转化的命名实体识别方法及系统,属于信息抽取领域。所述方法包括:利用双向长短记忆神经网络解码自然文本,得到第t个时间步的隐藏向量ht;利用单向长短记忆网络对所述隐藏向量ht进行解码,得到第j个时间步的解码结果sj;基于第j‑1个时间步的解码结果sj‑1生成第j个时间步的标签概率分布矩阵Pj;获取条件随机场生成的标签转移概率矩阵Aj;基于所有时间步j上的标签概率分布矩阵Pj和标签转移概率矩阵Aj,得到自然文本对应的命名实体识别结果。本发明可以利用过去和未来的标签来高精度地预测当前标签。
-
公开(公告)号:CN117149948B
公开(公告)日:2024-07-23
申请号:CN202311056211.2
申请日:2023-08-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/335 , G06F16/35 , G06F18/241 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于向量动态扰动的新闻脉络关系检测方法及装置,所述方法包括:针对待检测新闻文本对,基于每一新闻文本数据中包含的实体,对新闻文本数据进行文本截取,以得到新文本数据对;获取至少一个预训练模型;基于预训练模型,获取新文本数据对的编码表示;基于待检测新闻文本中包含的事件及事件论元、实体、关键词,对各层CLS关系表示向量进行表示增强;对表示增强的各层CLS嵌入表示进行动态加权平均后,基于平均CLS嵌入表示预测该预训练模型对应的关系预测概率;对至少一个预训练模型对应的关系预测概率进行融合平均,得到待检测新闻文本的关系预测结果。本发明可以提高新闻脉络关系检测任务的准确率和泛化性能。
-
公开(公告)号:CN117149948A
公开(公告)日:2023-12-01
申请号:CN202311056211.2
申请日:2023-08-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/335 , G06F16/35 , G06F18/241 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于向量动态扰动的新闻脉络关系检测方法及装置,所述方法包括:针对待检测新闻文本对,基于每一新闻文本数据中包含的实体,对新闻文本数据进行文本截取,以得到新文本数据对;获取至少一个预训练模型;基于预训练模型,获取新文本数据对的编码表示;基于待检测新闻文本中包含的事件及事件论元、实体、关键词,对各层CLS关系表示向量进行表示增强;对表示增强的各层CLS嵌入表示进行动态加权平均后,基于平均CLS嵌入表示预测该预训练模型对应的关系预测概率;对至少一个预训练模型对应的关系预测概率进行融合平均,得到待检测新闻文本的关系预测结果。本发明可以提高新闻脉络关系检测任务的准确率和泛化性能。
-
公开(公告)号:CN108959351B
公开(公告)日:2022-11-08
申请号:CN201810377825.3
申请日:2018-04-25
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明属于自然语言处理技术领域,具体提供一种中文篇章关系的分类方法及装置。旨在解决传统管道系统方法中错误传递的问题。本发明的中文篇章关系的分类方法包括将中文篇章中的句子进行句对的分布式表示,得到第一句对分布式表示向量;计算记忆单元与第一句对分布式表示向量的相似度和权重,得到第一句对分布式表示向量的记忆信息;将第一句对分布式表示向量与记忆信息进行线性组合生成第二句对分布式表示向量;对第二句对分布式表示向量进行分类,得到中文篇章的关系分类结果。本发明的方法通过深度学习网络得到句子内部的语义和结构抽象特征,可以获得优越性能的篇章分类效果。
-
公开(公告)号:CN105912716B
公开(公告)日:2019-09-10
申请号:CN201610285420.8
申请日:2016-04-29
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种短文本分类方法及装置。该方法包括:对待分类的短文本进行分词预处理,并获取分词得到的每个词语的扩展词;根据预先构建的词项集获取每个词语及其扩展词的权重值;根据权重值,利用多个类别SVM分类模型获取短文本所属每个类别的概率;根据预设的概率分类模型确定短文本的所属类别。本发明所提供的短分本分类方法,克服了短文本特征稀疏的问题,有效降低采用多分类模型的复杂度,更符合实际应用。
-
公开(公告)号:CN108763333A
公开(公告)日:2018-11-06
申请号:CN201810445536.2
申请日:2018-05-11
Applicant: 北京航空航天大学 , 国家计算机网络与信息安全管理中心
CPC classification number: G06F17/2795
Abstract: 本发明则提出一种基于社会媒体的事件图谱构建方法,首先进行多源数据预处理,接着对预处理后的数据进行多源事件信息抽取,然后通过事件关系评价对事件间关系进行判定,最后进行实体信息融合,对异构图中的实体进行属性补全。本发明将事件看做抽象实体,基于社会媒体文本数据对抽取事件基本构成要素,事件进行关联,并融合已有结构化知识库构建事件图谱,这样能够提供更全面更直接的面向事件的信息检索服务,还能通过将传统非结构化文本内容的研究转化为基于图的研究,有利于发掘更深层次的信息。
-
公开(公告)号:CN108647318A
公开(公告)日:2018-10-12
申请号:CN201810443980.0
申请日:2018-05-10
Applicant: 北京航空航天大学 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提出一种基于多源数据的知识融合方法,在融合多个来源的实体数据时,首先分别对每个数据源的属性进行规范化表示,其中包括了同义属性映射和对属性值的数值单位的统一转换,这样对属性的规范化处理可以减少对后续实体比较造成的影响;然后基于实体名和实体属性对实体进行分块聚合,这样仅将同一分块内不同来源的实体作为候选匹配实体对,避免了将两个数据源中所有的实体两两间比较,减少计算复杂度;最后将同一分块内不同来源的实体作为候选实体对,采用实体对齐算法计算实体间的相似度,将匹配得到不同来源中描述同一客观世界的实体对,建立不同数据源之间同一实体的等价链接,并进行实体属性的合并,而对于一个数据源中独有的实体,可以直接添加到知识库中。
-
公开(公告)号:CN107480190A
公开(公告)日:2017-12-15
申请号:CN201710560579.0
申请日:2017-07-11
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30191 , G06F17/30867 , G06F17/30876
Abstract: 本发明公开了一种非人为访问日志的过滤方法及装置,方法包括:过滤掉符合预设条件的访问日志,得到第一标准日志;基于标准日志过滤掉预定时间段内的访问日志,得到第二标准日志;从第一标准日志获取日志中URL前缀,得到前缀集合;依据前缀集合对第二标准日志进行过滤,得到过滤结果日志;本发明的方法及装置,可以快速有效地过滤高频的非人为访问,对提升日志挖掘效率、分析用户行为乃至检测内部安全威胁均具有重要意义。
-
-
-
-
-
-
-
-
-