公开(公告)号：CN114120191A

公开(公告)日：2022-03-01

申请号：CN202111390861.1

申请日：2021-11-23

Applicant: 上海交通大学

Inventor： 林巍峣 ,  钱锐

IPC: G06V20/40 ,  G06V20/70 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于多层级对比学习的自监督视频特征学习的视频行为识别系统及方法，包括：三维残差卷积神经网络以及分别与之相连的三个时域信息提取模块及其对应的低、中、高语义特征对比损失模块，其中：三维残差卷积神经网络分别输出低、中、高层语义特征至各个时域信息提取模块、输出对应层级的特征至各个语义特征对比损失模块；每个时域信息提取模块均包含时域信息对比损失单元和及时域检索损失单元并传递对应的低、中、高层时域信息。本发明在使用深度网络进行自监督视频特征学习时，利用深度网络提取的低、中、高层级特征，结合轻量的特征级时域特征增广方式，分别使用对应于不同层级的对比学习损失，并进行结合以提高自监督学习的视频特征的表征能力和泛化性。