公开(公告)号：CN114821772A

公开(公告)日：2022-07-29

申请号：CN202210383307.9

申请日：2022-04-13

Applicant: 常州机电职业技术学院

Inventor： 夏惠芬 ,  詹永照 ,  朱斌

IPC: G06V40/20 ,  G06V20/40 ,  G06K9/62 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及计算机视觉技术领域，尤其涉及一种基于时空关联学习的弱监督时序动作检测方法，包括S1、通过I3D网络对视频帧提取特征；S2、对视频构建动态空间图网络结构，得到视频空间特征；S3、构建一维时序卷积网络，得到视频时序特征；S4、将时序特征和空间特征进行融合；S5、使用动作‑背景注意力机制，分别是动作注意力和背景注意力，分别用于池化原来的视频特征；S6、预测视频中动作和背景的时空关联的类激活序列，预测视频中的动作激活序列或背景激活序列，分别得到三个分类损失；S7、计算总损失函数；S8、将训练好的模型用来动作检测。本发明解决现有弱监督时序动作检测方法存在的动作示例不完整、不精确的问题。