公开(公告)号：CN119830918A

公开(公告)日：2025-04-15

申请号：CN202411894941.4

申请日：2024-12-21

Applicant: 北方工业大学

Inventor： 刘杰 ,  许明英 ,  钟鋐 ,  宋林琦 ,  李垠桥

IPC: G06F40/30 ,  G06F40/295 ,  G06N3/042 ,  G06N3/084

Abstract: 本发明涉及自然语言处理技术领域，特别是涉及一种基于超图神经网络的多模态实体关系抽取方法，包括：获取文本‑图像对并输入预设的超图构建模型中，获取文本‑图像对的节点特征和多模态超图结构，其中，多模态包括文本和图像，超图结构包括一组超边集，超边集中的每条超边能够同时连接多个节点，且超边连接的节点数量不受限制；将节点特征和多模态超图结构输入预设的超图神经网络模型中，输出文本‑图像对中的多模态实体关系，其中，超图神经网络模型用于从语义和语境关系分析超图节点信息传播，结合注意力机制赋予模态间语义信息的相应权重。本发明能够有效融合多模态信息，识别多模态信息的实体类别与实体关系。

公开(公告)号：CN119623654A

公开(公告)日：2025-03-14

申请号：CN202411676515.3

申请日：2024-11-22

Applicant: 北方工业大学

Inventor： 刘杰 ,  张晴 ,  聂凯峰 ,  宋林琦 ,  李垠桥

IPC: G06N5/045 ,  G06N5/022 ,  G06F18/22

Abstract: 本发明公开一种跨任务协作思维链蒸馏方法和装置、系统、存储介质，包括：步骤S1、生成推理任务数据集的思维链；步骤S2、根据思维链对接受训练的任务进行难度排序；步骤S3、根据思维链和任务难度对学生模型进行正交分组训练；步骤S4、根据LoRA专家组合进行跨任务协作思维链蒸馏。采用本发明的技术方案，通过隐式的隔离不相关任务之间的参数防止发生负向迁移，进一步增加了小模型的推理能力。