-
公开(公告)号:CN116934794A
公开(公告)日:2023-10-24
申请号:CN202310695587.1
申请日:2023-06-13
Applicant: 复旦大学
IPC: G06T7/20 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06T3/40
Abstract: 本发明涉及一种面向随动小车夜间工况下的多模态目标跟随方法和系统,方法包括在小车进行目标跟随过程中,分别采集RGB图像、深度图像和红外图像,将RGB图像和红外图像载入预先建立并训练好的YOLOv5‑RTFT目标检测网络中,进行目标检测,从而根据目标中心与取景框中心判断小车的转向角,进行目标跟踪;并基于深度图像,判断跟踪目标与小车之间的距离,实现目标跟随;YOLOv5‑RTFT目标检测网络为双通路网络,并设置了RGB图像与红外图像模态融合的RTTF模块。与现有技术相比,本发明提升了模型在夜晚识别的精度,能够实现小车对目标的自动跟随,节省了人力物力,提高了效率。