发明授权
- 专利标题: 一种多模态图像融合方法、装置及设备
-
申请号: CN202310638962.9申请日: 2023-06-01
-
公开(公告)号: CN116363037B公开(公告)日: 2023-08-11
- 发明人: 王辉 , 姜朱丰 , 华姝雅 , 李欣怡 , 范自柱 , 杨辉
- 申请人: 华东交通大学
- 申请人地址: 江西省南昌市经济技术开发区双港东路808号
- 专利权人: 华东交通大学
- 当前专利权人: 开江恒佳网络科技有限责任公司
- 当前专利权人地址: 636250 四川省达州市开江县普安镇迎宾大道22号2楼5号门市
- 代理机构: 南昌旭瑞知识产权代理事务所
- 代理商 曹远龙
- 主分类号: G06T5/50
- IPC分类号: G06T5/50 ; G06N3/084 ; G06N3/0455 ; G06N3/0464
摘要:
本发明提供一种多模态图像融合方法、装置及设备,方法包括:获取同一目标对象的不同模态的至少两张图像数据,并采用预设特征提取网络对每张图像数据进行特征信息提取,得到对应的特征图像;将不同模态的特征图像进行堆叠,得到堆叠后特征图像,并对堆叠后特征图像进行通道注意力处理,输出具有通道注意力的特征图;依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理,得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理,在保证注重全局和局部信息的情况下,将计算复杂度降低到线性,具有速度快,精度高的特点。
公开/授权文献
- CN116363037A 一种多模态图像融合方法、装置及设备 公开/授权日:2023-06-30