公开(公告)号：CN117392744A

公开(公告)日：2024-01-12

申请号：CN202311220139.2

申请日：2023-09-20

Applicant: 北京邮电大学

Inventor： 梁孔明 ,  马占宇 ,  井一诺 ,  张如许

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06F40/284 ,  G06N3/0455

Abstract: 本申请公开了一种基于提示学习的视频行为识别方法、装置、设备及介质，方法包括：将待识别的视频以及多个类别文本标签输入第一改进的CLIP模型，得到视频中的动物类别特征；将待识别的视频以及多个类别文本标签输入第二改进的CLIP模型，得到视频中动物的第一视频特征和第一文本特征；将动物类别特征、第一视频特征和第一文本特征输入预设的类别提示生成算法，得到添加类别提示的第二视频特征和第二文本特征；根据第二视频特征和第二文本特征计算每个类别文本标签的预测概率，根据预测概率最大的类别文本标签得到动物行为类别。根据本申请的视频行为识别方法，可以为视频中的动物行为生成精确的文本描述，行为识别更加准确，且具有良好的泛化能力和实用性。