公开(公告)号：CN119600652A

公开(公告)日：2025-03-11

申请号：CN202411683134.8

申请日：2024-11-22

Applicant: 昆明理工大学

Inventor： 孟廷轩 ,  郑万波 ,  冉丝蔓 ,  李金海 ,  刘文奇 ,  乔盼节 ,  张天一 ,  李旭 ,  罗奕 ,  金煦雯

IPC: G06V40/10 ,  G06V10/52 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，属隧道安全监控领域。包括：进行RGB图像、深度图像和红外图像数据采集，通过对齐处理结合自适应权重网络实现多模态图像融合；通过HRNet检测人体关节点，WPNet捕捉人体非刚性形变，生成相应的特征图；通过融合AGCA和DLCA构建R2Fusion模型，对关键点进行描述，实现人体位姿的检测；采集IMU惯性测量数据，融合IMU得到的数据与视觉数据，通过构建关键点最小代价函数并求得旋转矩阵与平移矩阵，进一步进行姿态估计与校正，并保证实时监控与反馈。本发明提升对隧道复杂环境下人体的定位精度，使隧道安全巡检更加安全可靠。