公开(公告)号：CN117037039A

公开(公告)日：2023-11-10

申请号：CN202311045216.5

申请日：2023-08-18

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张万军 ,  周福兴 ,  张海平

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/0464

Abstract: 本发明公开了一种基于Transformer的视频多注意力机制的时序动作检测方法，包括如下步骤：S1、获取待检测的视频图像，将视频帧经过预训练的视频模型提取初始视频特征；S2、将所述视频特征输入到一个浅层卷积网络进行投影得到视频片段特征嵌入；S3、将所有特征嵌入输入到局部自注意力的Transformer模块输出其局部样式特征；S4、将所述的局部样式特征输入到全局自注意力的Transformer模块对长期依赖进行建模；S5、最终每个Transformer层的输出构建为特征金字塔结构；S6、将特征金字塔的每一层输入到检测头中，检测头中包括回归头和分类头，分别输出最终动作的时序边界和类别。该方法能够提升动作检测的准确率，同时效率比传统的Transformer模型更高。

公开(公告)号：CN116665300A

公开(公告)日：2023-08-29

申请号：CN202310609183.6

申请日：2023-05-29

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  张昕昊 ,  周福兴 ,  管力明 ,  施月玲

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明公开了一种基于时空自适应特征融合图卷积网络的骨架动作识别方法，包括如下步骤：S1、获取人体的骨架动作序列的原始数据集并进行数据预处理和数据增强；S2、对预处理和数据增强后得到的骨架数据进行处理，得到骨架数据的二阶骨骼信息；S3、将关节运动流态和骨骼运动流态整合形成肢体流；S4、构建时空自适应特征融合图卷积网络；S5、分别将关节流态、骨骼流态和肢体流数据输入到时空自适应特征融合图卷积网络中进行训练，获取对应的初始预测结果和softmax分数，最终通过权重相加的方式融合输出最后的预测结果。该方法可更充分地提取不同尺度上下文信息，结合数量更多、特征更明显的关节数据以实现人体行为预测，有助于提高人体行为的预测精确度。