公开(公告)号：CN114880527A

公开(公告)日：2022-08-09

申请号：CN202210648954.8

申请日：2022-06-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  付晏升 ,  张星东 ,  丁卓

IPC: G06F16/901 ,  G06F16/906 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。

公开(公告)号：CN114880527B

公开(公告)日：2023-03-24

申请号：CN202210648954.8

申请日：2022-06-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  付晏升 ,  张星东 ,  丁卓

IPC: G06F16/901 ,  G06F16/906 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。