公开(公告)号：CN113255443B

公开(公告)日：2024-02-09

申请号：CN202110412867.8

申请日：2021-04-16

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  杨津 ,  朱素果

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于金字塔结构的图注意力网络时序动作定位方法。本发明主要涉及利用图注意力网络搭建的多尺度金字塔模型融合预测多时间跨度的行为检测。本发明步骤：1、数据预处理，提取视频数据的初始时空特征，2、基于图注意力机制的金字塔网络模型，搭建带有时序注意力机制的多尺度模型，3、模型训练，利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明引入了金字塔结构来构造不同感受野的特征层，以解决行为在尺度上的预测问题。并引入了图注意力机制，在时序信息上加入了注意力模块，在特征中充分融合了时序上的内容；本发明在时序动作定位领域中的最好效果，相比于原始的单一特征图预测方法在性能上有了很大的提升。

公开(公告)号：CN113255443A

公开(公告)日：2021-08-13

申请号：CN202110412867.8

申请日：2021-04-16

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  朱素果 ,  杨津

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于金字塔结构的图注意力网络时序动作定位方法。本发明主要涉及利用图注意力网络搭建的多尺度金字塔模型融合预测多时间跨度的行为检测。本发明步骤：1、数据预处理，提取视频数据的初始时空特征，2、基于图注意力机制的金字塔网络模型，搭建带有时序注意力机制的多尺度模型，3、模型训练，利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明引入了金字塔结构来构造不同感受野的特征层，以解决行为在尺度上的预测问题。并引入了图注意力机制，在时序信息上加入了注意力模块，在特征中充分融合了时序上的内容；本发明在时序动作定位领域中的最好效果，相比于原始的单一特征图预测方法在性能上有了很大的提升。