公开(公告)号：CN116580453A

公开(公告)日：2023-08-11

申请号：CN202310463831.1

申请日：2023-04-26

Applicant: 哈尔滨工程大学

Inventor： 王宇华 ,  焦培元 ,  徐悦竹 ,  刘世友

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于空间和时序双通道融合模型的人体行为识别方法，构建融合ER3D模型和Space‑TimeTransformer模型的深度学习网络架构，并通过对公开人体行为识别数据集进行端到端的预训练，得到初始化网络，接着读取人体行为训练视频，对训练视频做固定间隔采样和数据增强，将数据增强后的视频帧送入经过预训练的网络架构进行训练，生成人体行为识别模型。在测试阶段，读取测试集中的人体行为视频，对其进行采样和裁剪后送入训练好的识别模型进行识别，整个过程实现端到端的检测视频中的人体行为。本发明根据ER3D模型和Space‑TimeTransformer模型可以分别对视频帧中包含的空间信息和时序信息有效建模的特点，从而构建并训练出一种可以准确识别人体行为的深度学习网络架构。