公开(公告)号：CN119863734A

公开(公告)日：2025-04-22

申请号：CN202411636851.5

申请日：2024-11-15

Applicant: 南京邮电大学

Inventor： 陶晨阳 ,  李昂 ,  赵文卓 ,  孙宇航 ,  童欣玉

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/62 ,  G06V10/77 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/049 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于时间残差注意力机制的T‑CLIP视频分类方法、系统、设备及存储介质，属于多模态视频数据分析技术领域，分类方法包括以下步骤：获取原始视频数据集作为训练集，对训练集的视频和标签进行数据增强；建立基于时间残差注意力机制的视频分类网络模型；将增强数据集预处理后输入视频分类网络进行训练，输出并保存最优的优化器参数和网络权重；利用训练完成的模型对输入视频的人物行为进行分析，匹配动作标签进行分类；其中，基于时间残差注意力机制的视频分类网络包括视频采样模块、视频编码模块、文本编码模块和判别器模块。本发明提供的T‑CLIP视频分类方法具有强大的零样本视频动作识别能力，能够高效准确地根据视频内容进行分类。