公开(公告)号：CN116543908A

公开(公告)日：2023-08-04

申请号：CN202310686766.9

申请日：2023-06-12

Applicant: 贵州大学

Inventor： 杨观赐 ,  何宗霖 ,  张昌福 ,  邓炬锋 ,  张良 ,  王阳 ,  李杨 ,  罗可欣 ,  何玲 ,  刘丹 ,  蓝善根 ,  胡丙齐

IPC: G16H50/30 ,  G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明的一种基于时空双流网络的动作识别方法，包括如下步骤：确定动作类别；视频数据Dv采集；基于关键帧处理视频数据并构建动作类别数据集；构建时空双流网络Nst，空间特征提取模块Ms由9层三维卷积和5层三维池化以及一个全连接神经网络构成，时间特征提取模块由二维卷积分片单元和Transformer编码器以及全连接神经网络构成，将空间特征提取模块Ms获得的空间特征Fs与时间特征提取模块Mt获得的时间特征Ft融合，获得融合特征Ffusion；基于时空双流网络进行动作识别，将融合特征Ffusion输入至softmax分类器，获得动作类别概率分布Ap，输出动作类别Aresult。本发明具有能提高识别精度的特征。