公开(公告)号：CN116630836A

公开(公告)日：2023-08-22

申请号：CN202310240103.4

申请日：2023-03-07

Applicant: 杭州海康威视数字技术股份有限公司 ,  中国科学院自动化研究所

Inventor： 高君宇 ,  冯洋博 ,  杨世才 ,  浦世亮

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/74 ,  G06N3/0499

Abstract: 本申请实施例提供了一种动作视频识别方法、装置、电子设备及存储介质，电子设备获取待识别视频；提取待识别视频的视频特征；根据视频特征以及预先训练的时空胶囊参数，构建时空胶囊；根据时空胶囊对应的时空部分胶囊与预先训练得到的各已知类别对应的类胶囊之间的关系，构建专用胶囊；基于专用胶囊和各已知类别对应的类胶囊之间的相似程度，确定待识别视频类别。由于时空胶囊可以表示待识别视频时间维度信息和空间维度信息，专用胶囊可以表示待识别视频局部时空维度特征与各已知类别对应的类胶囊构成的整体之间的关系，因此既考虑了待识别视频时间维度和空间维度，又考虑了待识别视频局部与整体之间的关系，可以提高动作视频识别的准确性。

公开(公告)号：CN115424160A

公开(公告)日：2022-12-02

申请号：CN202210451550.X

申请日：2022-04-26

Applicant: 之江实验室 ,  中国科学院自动化研究所

Inventor： 徐常胜 ,  高君宇 ,  冯洋博

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种小样本视频动作识别方法及装置，所述方法包括：提取待识别视频的视频特征；将待识别视频的视频特征输入至胶囊图神经网络，得到胶囊图神经网络输出的待识别视频的动作类别；胶囊图神经网络用于基于待识别视频的视频特征以及待识别视频的视频特征与其它视频的视频特征之间的关系，确定待识别视频的视频特征以及其它视频的视频特征对应胶囊的重要程度，并基于各胶囊的重要程度确定各胶囊的激活值，以及基于各胶囊的激活值确定待识别视频的动作类别。本发明能够进一步提高动作识别的精度。