公开(公告)号：CN119580350A

公开(公告)日：2025-03-07

申请号：CN202411616016.5

申请日：2024-11-13

Applicant: 重庆邮电大学

Inventor： 卿宇寒 ,  高陈强 ,  李欣霖

IPC: G06V40/20 ,  G06V10/143 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明涉及一种基于基础模型和竞争性选择的双模态行为识别方法，包括：针对用户在同一场景下的红外图片序列和可见光图片序列，采用竞争机制动态地生成红外图片和可见光图片的掩码信息，并将图像被掩码的位置记录下来作为掩码标记，未被掩码的位置作为可见标记；根据图像被掩码和未被掩码的位置将红外图片序列和可见光图片序列及其对应的掩码信息分别对应输入红外编码器和可见光编码器，提取相应的模态特征；将编码后得到的模态特征馈送到层级掩码融合模块，结合图像被掩码和未被掩码的位置计算得到融合特征，并将融合特征馈送到分类器计算对应场景下用户的行为类别，本发明能够提高行为识别任务的高效性与准确性。