公开(公告)号：CN115457657A

公开(公告)日：2022-12-09

申请号：CN202211083801.X

申请日：2022-09-06

Applicant: 厦门大学

Inventor： 李晓潮 ,  杨曼 ,  甘利鹏

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06V10/77 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 基于BERT模型的通道特征交互时间建模行为识别方法，属于计算机视觉、深度学习和行为识别技术领域。将动作视频分解成对应的RGB图像序列输入二维卷积神经网络，基于二维卷积神经网络提取的特征，通过通道重组模块和通道BERT模型对子通道特征序列进行自注意力计算，提取随时间变化差异较大的关键子通道特征以及它们之间的交互相关性，获得区分动作类别的关键语义特征及其相关性，从而提高行为分类精度。通过将通道BERT和时间BERT联合起来，进一步关注关键帧中的关键通道语义特征，从而获得更高的行为识别准确率。