公开(公告)号：CN115759262A

公开(公告)日：2023-03-07

申请号：CN202211520242.4

申请日：2022-11-30

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学

Inventor： 张文琪 ,  高永超 ,  钱恒

IPC: G06N5/04 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于知识感知注意力网络的视觉常识推理方法及系统，涉及计算机视觉与自然语言处理交叉技术领域，该方法包括：以多组互相对应的样本图像、样本问题和已标注的样本答案候选项，训练视觉常识推理模型；该训练过程包括：获取样本图像、样本问题和样本答案候选项的视觉特征和初始语境句子表示；根据视觉上下文引导以及知识嵌入，学习样本问题和样本答案候选项基于知识的句子表示以及知识感知注意向量；融合知识感知注意向量与视觉特征得到融合特征，以此训练视觉常识推理模型；将待推理图像、待推理问题和多个推理答案候选项输入至训练完成的视觉常识推理模型，输出推理结果，实现准确推理，提升了视觉常识推理任务的性能。

公开(公告)号：CN115759261A

公开(公告)日：2023-03-07

申请号：CN202211519318.1

申请日：2022-11-30

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学

Inventor： 张文琪 ,  高永超 ,  钱恒

IPC: G06N5/04 ,  G06N20/00 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于图注意力网络的视觉常识推理方法及系统，涉及计算机视觉与自然语言处理交叉技术领域，该方法包括：以多组互相对应的样本图像、样本问题和已标注的样本答案候选项为样本训练集，训练所构建的视觉常识推理模型；所述训练过程包括：获取样本图像、样本问题和样本答案候选项的视觉特征和语言特征，以视觉特征为视觉节点，基于图注意力机制，利用语义信息更新视觉特征；采用多模态融合，融合语言特征和更新后的视觉特征，获取视觉和语言的联合特征表示，以此训练视觉常识推理模型；将待推理图像、待推理问题和多个推理答案候选项输入至训练完成的视觉常识推理模型，输出推理结果，实现准确推理，提升了视觉常识推理任务的性能。