公开(公告)号：CN116887012A

公开(公告)日：2023-10-13

申请号：CN202310862903.X

申请日：2023-07-14

Applicant: 南京邮电大学

Inventor： 干宗良 ,  裴逸 ,  陈昌红 ,  崔子冠 ,  刘峰

IPC: H04N21/8549 ,  H04N21/44 ,  H04N21/466 ,  G06V20/40 ,  G06V10/82

Abstract: 本发明公开了一种基于图模型和注意力机制的视频摘要方法、装置、存储介质及设备，属于计算机视觉和深度学习技术领域，方法包括：获取视频；将视频输入到训练好的视频摘要模型中得到摘要视频；视频摘要模型通过以下方法进行训练：获取训练视频并按帧进行分割得到视频帧；通过卷积神经网络提取视频帧的图像特征；分别用全局图注意力模型和局部多头注意力模型提取图像特征的全局注意力特征和局部注意力特征，然后将两者相加得到视频帧特征；将视频帧特征和预先获取的关键帧输入到视频摘要模型中进行训练，得到训练好的视频摘要模型；本发明能够提高准确性和镜头多样性。