公开(公告)号：CN115861758A

公开(公告)日：2023-03-28

申请号：CN202211672837.1

申请日：2022-12-26

Applicant: 西安邮电大学

Inventor： 侯志强 ,  孙颖 ,  马素刚 ,  杨晨 ,  程敏捷 ,  王忠民 ,  范九伦

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明提供一种基于双模态融合网络的目标检测方法，包括获取图像对数据集，建立双模态图像数据集，构建模块分别对红外图像和可见光图像编码，构建双路门控融合网络，将融合特征输入至基准方法YOLOv5‑s网络第三层，得到最终检测网络，处理好的图像对数据集，输入至最终检测网络中，得到检测结果；还包括一种基于本发明方法的目标检测装置；本发明方法采用嵌入门控融合网络，使模型能够确定两种模态图像在不同场景中对检测的贡献；引入多任务学习的思想，自适应调节权重分配，实现跨模态特征融；面对黑夜等复杂环境本发明具有较好的鲁棒性。