公开(公告)号：CN114627162A

公开(公告)日：2022-06-14

申请号：CN202210347546.9

申请日：2022-04-01

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  南瑞环 ,  朱素果 ,  范建平

IPC: G06T7/269 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视频上下文信息融合的多模态密集视频描述方法，用于处理密集视频描述任务。本发明步骤如下：步骤(1)、数据预处理，提取视频多模态数据特征；步骤(2)、建立多模态密集视频描述网络，并引入时间‑语义关系模块；步骤(3)、模型训练，优化描述生成器，得到模型在视频上的文本描述；模型通过采用稀疏采样和引入时间‑语义关系模块，解决了视频描述任务中普遍存在的视频信息冗余以及视频事件与事件之间关系的引入问题，从而减少了模型的计算量，提高了生成句子的连贯性与一致性。在数据集上的实验表明，通过使用这两种方法，能够有效提升模型生成文本描述的效果与性能。