公开(公告)号：CN114419524B

公开(公告)日：2022-08-05

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN114419524A

公开(公告)日：2022-04-29

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。