-
公开(公告)号:CN113128395B
公开(公告)日:2022-05-20
申请号:CN202110413461.1
申请日:2021-04-16
Applicant: 重庆邮电大学
IPC: G06V20/40 , G06V40/20 , G06V10/40 , G06V10/62 , G06V10/764 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于混合卷积的多级特征融合模型的视频动作识别方法及系统,属于计算机视觉技术领域,采用二维卷积和可分离三维卷积构造混合卷积模块;沿着时间维度对各输入特征执行通道移位操作,构建时间移位模块,促进相邻帧之间的信息流动,补偿二维卷积操作对动态特征进行捕捉的缺陷;从骨干网络的不同卷积层中导出多级互补特征,并对其进行空间调制与时间调制,从而使各层次特征在空间维度上具有一致的语义信息,在时间维度上具有多变的视觉节奏线索;通过构造自下而上的特征流和自顶向下的特征流,使各个特征之间相辅相成,互为补充,并对所述特征流进行并行处理,以实现多级特征融合;利用两阶段训练策略进行模型训练。
-
公开(公告)号:CN113065450A
公开(公告)日:2021-07-02
申请号:CN202110334547.5
申请日:2021-03-29
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于可分离三维残差注意网络的人体动作识别方法,属于计算机视觉领域。该方法包括:S1:利用可分离三维卷积替换3D ResNet中的标准三维卷积,搭建Sep‑3D ResNet;S2:设计通道注意力模块和空间注意力模块,然后按顺序堆叠构造双重注意力机制;S3:对不同时刻的中层卷积特征进行双重注意力加权,在时间维度上扩展双重注意力模块,然后将其嵌入到Sep‑3D ResNet的Sep‑3D RAB中,搭建Sep‑3D RAN;S4:利用多阶段训练策略对Sep‑3D RAN进行联合端到端训练。本发明能提升分类判别特征的区分能力,实现了高质量时空视觉特征的高效提取,能够增强模型的分类精度和识别效率。
-
公开(公告)号:CN113065450B
公开(公告)日:2022-09-20
申请号:CN202110334547.5
申请日:2021-03-29
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于可分离三维残差注意网络的人体动作识别方法,属于计算机视觉领域。该方法包括:S1:利用可分离三维卷积替换3D ResNet中的标准三维卷积,搭建Sep‑3D ResNet;S2:设计通道注意力模块和空间注意力模块,然后按顺序堆叠构造双重注意力机制;S3:对不同时刻的中层卷积特征进行双重注意力加权,在时间维度上扩展双重注意力模块,然后将其嵌入到Sep‑3D ResNet的Sep‑3D RAB中,搭建Sep‑3D RAN;S4:利用多阶段训练策略对Sep‑3D RAN进行联合端到端训练。本发明能提升分类判别特征的区分能力,实现了高质量时空视觉特征的高效提取,能够增强模型的分类精度和识别效率。
-
公开(公告)号:CN113128395A
公开(公告)日:2021-07-16
申请号:CN202110413461.1
申请日:2021-04-16
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于混合卷积的多级特征融合模型的视频动作识别方法及系统,属于计算机视觉技术领域,采用二维卷积和可分离三维卷积构造混合卷积模块;沿着时间维度对各输入特征执行通道移位操作,构建时间移位模块,促进相邻帧之间的信息流动,补偿二维卷积操作对动态特征进行捕捉的缺陷;从骨干网络的不同卷积层中导出多级互补特征,并对其进行空间调制与时间调制,从而使各层次特征在空间维度上具有一致的语义信息,在时间维度上具有多变的视觉节奏线索;通过构造自下而上的特征流和自顶向下的特征流,使各个特征之间相辅相成,互为补充,并对所述特征流进行并行处理,以实现多级特征融合;利用两阶段训练策略进行模型训练。
-
-
-