公开(公告)号：CN120014392A

公开(公告)日：2025-05-16

申请号：CN202411872479.8

申请日：2024-12-18

Applicant: 同济大学

Inventor： 李刚 ,  王永归 ,  冯恺睿 ,  何斌 ,  沈润杰 ,  刘晓芹

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06T7/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种地下动态退化环境的多模态融合感知与语义生成方法，涉及计算机视觉技术领域，方法包括：构建多模态感知平台；对多模态感知平台进行联合标定；通过联合标定后的多模态感知平台，对待检测目标进行多模态数据的采集；通过基于深度学习算法的多模态目标感知模型，提取多模态数据的数据特征；根据多模态数据的数据特征，确定待检测目标的感知结果；对待检测目标的感知结果与时间戳信息进行结合，生成语义信息；通过ROS通信机制，实时发布语义信息，实现感知结果的即时可视化。本发明可以确保在资源受限和通信受限的环境中仍能提供可靠的感知能力，从而提高地下空间环境中的感知精度和语义理解能力。

公开(公告)号：CN119295892A

公开(公告)日：2025-01-10

申请号：CN202411201846.1

申请日：2024-08-29

Applicant: 同济大学

Inventor： 陈杰 ,  何斌 ,  李刚 ,  王永归 ,  朱忠攀

IPC: G06V10/82 ,  G06V10/77 ,  G06V10/80 ,  G06V10/75

Abstract: 本发明涉及计算机视觉领域，特别是指一种面向复杂退化环境的多模复眼感知方法及装置。所述方法包括：通过多模复眼采集设备获取复杂退化环境下的多组图像，输入到训练好的特征点预测模型提取得到可见光图像以及红外图像的关键特征点信息；根据最近邻匹配技术、可见光图像以及红外图像的关键特征点信息生成可见光拼接图像以及红外拼接图像，输入到构建好的多模感知检测网络进行目标检测，得到多模感知检测结果。本发明结合了深度学习算法、最近邻匹配技术和图像拼接技术，通过构建特征点预测模型和多模感知检测网络，实现了多模复眼传感器中可见光和红外两种模态的目标检测感知任务。