公开(公告)号：CN117077672A

公开(公告)日：2023-11-17

申请号：CN202310822927.2

申请日：2023-07-05

Applicant: 哈尔滨理工大学

Inventor： 孙广路 ,  逯永健 ,  梁丽丽 ,  朱素霞 ,  李秀娇

IPC: G06F40/295 ,  G06F40/284 ,  G06F40/289 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明提出一种基于词汇增强和TCN‑BILSTM模型的中文命名实体识别方法，属于计算机自然语言技术领域。包括S1、将输入语句中的字符映射成字符表示；S2、将语句中的词汇和分词信息拼接到字符表示上，得到词汇增强后的字符表示；S3、使用预训练的BERT模型，获得输入语句中具有上下文表示的字符表示，将具有上下文表示的字符表示与词汇增强后的字符表示做拼接，得到拼接后的字符表示；S4、对拼接后的字符向量表示做特征提取，得到具有上下文信息和长距离语义信息的特征向量表示；S5、将具有上下文信息和长距离语义信息的特征向量表示输入CRF解码模型预测每个字符的实体标签。解决对于多层次语义信息识别率低的问题。

公开(公告)号：CN116822515A

公开(公告)日：2023-09-29

申请号：CN202310743423.1

申请日：2023-06-21

Applicant: 哈尔滨理工大学

Inventor： 孙广路 ,  李秀娇 ,  刘昕雨 ,  逯永健

IPC: G06F40/295 ,  G06V10/40 ,  G06F18/213 ,  G06F18/25 ,  G06F40/30 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于实体跨度定位视觉区域的多模态命名实体识别方法及系统，涉及计算机视觉和自然语言处理技术领域，以克服现有的获取局部视觉信息方法的缺陷。本发明的技术要点包括：设计实体跨度定位视觉区域模块，以根据文本特征和图片特征，输出与输入文本中所有实体最相关的视觉区域特征；设计多模态交互模块，以根据文本特征获取的文本隐藏表示以及视觉区域特征，进行文本特征和视觉区域特征之间的跨模态语义交互，输出多模态融合特征；设计条件随机场解码模块，以根据输入的多模态融合特征，输出文本中每个单词的实体标签。本发明同时利用全局和局部两个角度的图片信息来提升性能，减轻了不相关物体图像对多模态命名实体识别的负面影响。

公开(公告)号：CN116822515B

公开(公告)日：2024-07-09

申请号：CN202310743423.1

申请日：2023-06-21

Applicant: 哈尔滨理工大学

Inventor： 孙广路 ,  李秀娇 ,  刘昕雨 ,  逯永健

IPC: G06F40/295 ,  G06V10/40 ,  G06F18/213 ,  G06F18/25 ,  G06F40/30 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于实体跨度定位视觉区域的多模态命名实体识别方法及系统，涉及计算机视觉和自然语言处理技术领域，以克服现有的获取局部视觉信息方法的缺陷。本发明的技术要点包括：设计实体跨度定位视觉区域模块，以根据文本特征和图片特征，输出与输入文本中所有实体最相关的视觉区域特征；设计多模态交互模块，以根据文本特征获取的文本隐藏表示以及视觉区域特征，进行文本特征和视觉区域特征之间的跨模态语义交互，输出多模态融合特征；设计条件随机场解码模块，以根据输入的多模态融合特征，输出文本中每个单词的实体标签。本发明同时利用全局和局部两个角度的图片信息来提升性能，减轻了不相关物体图像对多模态命名实体识别的负面影响。

公开(公告)号：CN117077672B

公开(公告)日：2024-04-26

申请号：CN202310822927.2

申请日：2023-07-05

Applicant: 哈尔滨理工大学

Inventor： 孙广路 ,  逯永健 ,  梁丽丽 ,  朱素霞 ,  李秀娇

IPC: G06F40/295 ,  G06F40/284 ,  G06F40/289 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明提出一种基于词汇增强和TCN‑BILSTM模型的中文命名实体识别方法，属于计算机自然语言技术领域。包括S1、将输入语句中的字符映射成字符表示；S2、将语句中的词汇和分词信息拼接到字符表示上，得到词汇增强后的字符表示；S3、使用预训练的BERT模型，获得输入语句中具有上下文表示的字符表示，将具有上下文表示的字符表示与词汇增强后的字符表示做拼接，得到拼接后的字符表示；S4、对拼接后的字符向量表示做特征提取，得到具有上下文信息和长距离语义信息的特征向量表示；S5、将具有上下文信息和长距离语义信息的特征向量表示输入CRF解码模型预测每个字符的实体标签。解决对于多层次语义信息识别率低的问题。