公开(公告)号：CN114743143B

公开(公告)日：2024-11-12

申请号：CN202210375021.6

申请日：2022-04-11

Applicant: 同济大学

Inventor： 王瀚漓 ,  张沁宇

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06F40/30 ,  G06V20/70 ,  G06V10/82

Abstract: 本发明涉及一种基于多概念知识挖掘的视频描述生成方法及存储介质，所述方法包括：获取待处理的输入视频，对所述输入视频进行视觉特征和语义标签提取，并对所述语义标签进行优化，获得先验语义标签，以所提取的视觉特征和所述先验语义标签作为基于Transformer结构的视频描述生成模型的输入，获得对应的描述结果，其中，所述视觉特征包括2D特征和3D特征；所述视频描述生成模型训练时，从训练样本中进行视频‑文本知识、视频‑视频知识和文本‑文本知识的挖掘，优化视频描述生成模型中多头自注意力层的参数和词嵌入层的参数。与现有技术相比，本发明具有主题相关度强、语义丰富度高、训练速度快等优点。

公开(公告)号：CN114743143A

公开(公告)日：2022-07-12

申请号：CN202210375021.6

申请日：2022-04-11

Applicant: 同济大学

Inventor： 王瀚漓 ,  张沁宇

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06K9/62 ,  G06F40/30

Abstract: 本发明涉及一种基于多概念知识挖掘的视频描述生成方法及存储介质，所述方法包括：获取待处理的输入视频，对所述输入视频进行视觉特征和语义标签提取，并对所述语义标签进行优化，获得先验语义标签，以所提取的视觉特征和所述先验语义标签作为基于Transformer结构的视频描述生成模型的输入，获得对应的描述结果，其中，所述视觉特征包括2D特征和3D特征；所述视频描述生成模型训练时，从训练样本中进行视频‑文本知识、视频‑视频知识和文本‑文本知识的挖掘，优化视频描述生成模型中多头自注意力层的参数和词嵌入层的参数。与现有技术相比，本发明具有主题相关度强、语义丰富度高、训练速度快等优点。