公开(公告)号：CN116127408A

公开(公告)日：2023-05-16

申请号：CN202310162234.5

申请日：2023-02-21

Applicant: 安徽大学

Inventor： 李成龙 ,  殷策 ,  刘磊 ,  汤进 ,  毛军军 ,  吴涛

IPC: G06F18/25 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/09

Abstract: 本发明提供基于跨模态增强的多模态自适应融合方法及系统，方法包括：用N个二分类器训练基于学习的网络，作为基于分类的权重预测模块，用于预测不同模态的可靠性权重权重，以取代原始回归器。每个二分类器由全局平均池化层和两个分别具有ReLU激活函数和Sigmoid激活函数的全连接层组成；从骨干网中提取的模态特征作为输入，然后通过两个由1×1卷积层组成的并行结构对其进行调制，分别发挥特征的缩放和位移作用，指导另一个模态学习更多判别特征；针对两个模态的训练数据，即A模态分支、B模态分支分支和A‑B模态混合分支，对这三个分支网络进行离线训练。发明解决了融合效果较差、融合时权重学习准确率较低、多模态特征自适应融合权重估计不可靠的技术问题。