发明公开
- 专利标题: 一种基于ViT和ST-GCN的红外人体行为识别方法
-
申请号: CN202410162481.X申请日: 2024-02-05
-
公开(公告)号: CN118038550A公开(公告)日: 2024-05-14
- 发明人: 张连波 , 王科俊 , 卢桂萍 , 张文扬 , 张小凤 , 李旻 , 赵若帆
- 申请人: 北京理工大学珠海学院
- 申请人地址: 广东省珠海市唐家湾金凤路6号
- 专利权人: 北京理工大学珠海学院
- 当前专利权人: 北京理工大学珠海学院
- 当前专利权人地址: 广东省珠海市唐家湾金凤路6号
- 代理机构: 广州三环专利商标代理有限公司
- 代理商 杨振鹏
- 主分类号: G06V40/20
- IPC分类号: G06V40/20 ; G06V10/80 ; G06V20/40 ; G06N3/0464 ; G06N3/08 ; G06V10/764 ; G06F17/16 ; G06F17/18
摘要:
本发明提供一种基于ViT和ST‑GCN的红外人体行为识别方法,其包括获取红外视频数据;构建Lite‑ViTAPose姿态估计模块,利用Lite‑ViTAPose姿态估计模块提取红外视频中每一帧的人体姿态,将提取到的人体姿态经过处理、转换形成骨骼序列,作为网络输入;其中,Lite‑ViTAPose姿态估计模块包括基于多尺度特征融合的MobileViT模块和基于残差双头注意力机制的多人姿态估计器DAs‑MPPE;构建2s‑ViTGCN行为估计模块,基于输入的骨骼序列,利用2s‑ViTGCN提取该骨骼序列的时空特征,从而识别出人体的动作;其中,2s‑ViTGCN行为估计模块包括双流神经网络、ViTGCN块以及ViTGCN层。本发明将Lite‑ViTAPose模块和2s‑ViTGCN行为估计模块结合进行红外人体行为识别,有效克服了现有红外人体行为识别技术中存在的弊端。