公开(公告)号：CN116883908A

公开(公告)日：2023-10-13

申请号：CN202310931516.7

申请日：2023-07-27

Applicant: 杭州电子科技大学

Inventor： 朱素果 ,  刘子文 ,  余宙 ,  俞俊

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/62 ,  G06V10/77 ,  G06V10/40 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/082

Abstract: 本发明公开了一种具有再注意机制的卷积注意力弱监督时序动作定位方法，本发明利用卷积注意力挖掘全局局部信息，并通过再注意进行细化以进行弱监督时序动作检测。步骤如下：1、数据预处理，提取视频数据的初始时空特征。2、具有再注意机制的卷积注意力模型，搭建带有多头自注意力机制的多阶段模型，引入三个辅助分支分别对动作，背景和动作上下文进行学习。3、模型训练，利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明提出一种弱监督时序动作定位领域中利用卷积注意力机制挖掘局部和全局时序信息，并通过再注意细化注意力权重的多阶段方法，同时通过辅助分支挖掘额外信息，相比于原始方法在性能上有了不少提升。