公开(公告)号：CN115170830A

公开(公告)日：2022-10-11

申请号：CN202210580255.4

申请日：2022-05-26

Applicant: 北京交通大学

Inventor： 丛润民 ,  刘鸿羽 ,  张晨 ,  林秦伟 ,  赵耀

IPC: G06V10/46 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明涉及一种基于跨模态交互和修正的RGB‑D图像显著性目标检测方法，包括：1、在编码阶段，彩色图编码器和深度图编码器分别提取彩色图模态和深度图模态的特征，彩色图模态和深度图模态的高层特征经渐进式注意力引导整合单元进行跨模态交互得到RGB‑D特征；2、特征修正中间件结构对编码阶段得到的彩色图模态、深度图模态和RGB‑D模态的特征进行自模态和跨模态的修正；3、在解码阶段，彩色图模态和深度图模态分别解码，并将各层级解码特征送入重要性门控融合单元进行融合解码，从而完成RGB‑D模态的解码，得到最终的显著图。本发明分别在不同阶段对特征进行交互和修正，实现两种模态更加全面的融合以及对互补信息的提取。