公开(公告)号：CN118692156A

公开(公告)日：2024-09-24

申请号：CN202410716518.9

申请日：2024-06-04

Applicant: 中国矿业大学

Inventor： 杨霄 ,  袁海 ,  潘在宇 ,  李玉莲 ,  孙富春 ,  王军

IPC: G06V40/70 ,  G06V40/14 ,  G06V40/12 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0499 ,  G06N3/0464

Abstract: 本发明公开了一种基于动态提示信息的缺失模态的多模态图像识别方法。本发明提出了两个创新点：(1)本发明针对的是在训练和测试阶段均缺失的场景下，使模型更具鲁棒性，能够更好地适应真实生活中多变的条件。(2)本发明提出了动态提示信息的融合模块，增强了剩余模态间充分的交互，提升了多模态识别任务性能。并且可以根据识别样本的难易程度，动态选择融合模块，融合未缺失的模态信息，提高模型对复杂情境的应对能力。