公开(公告)号：CN118427396A

公开(公告)日：2024-08-02

申请号：CN202410893508.2

申请日：2024-07-03

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 王滨 ,  董建锋 ,  王星 ,  余京涛 ,  左智文 ,  李超豪

IPC: G06F16/783 ,  G06F16/732 ,  G06F16/75 ,  G06V20/40 ,  G06V10/74 ,  G06V10/762 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/088

Abstract: 本申请提供一种多模态大模型辅助的无监督跨模态视频检索方法及设备。在本申请一个示例中，该方法包括：对于训练集中的任一视频，利用基于差异性评估的代表性视频帧采样方法，对该视频进行视频帧采样，得到该视频的代表帧，并利用预训练多模态文本标注大模型，生成对应的文本标注；依据代表帧与对应的文本标注之间的相关度，对不满足相关度要求的文本标注进行过滤；依据过滤后的文本标注，确定该视频的文本描述信息，得到视频‑文本描述信息对；依据训练集中各视频对应的视频‑文本描述信息对，对跨模态视频检索模型进行训练。该方法可以降低跨模态视频检索模型训练对人工标注的依赖。

公开(公告)号：CN118427396B

公开(公告)日：2024-09-03

申请号：CN202410893508.2

申请日：2024-07-03

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 王滨 ,  董建锋 ,  王星 ,  余京涛 ,  左智文 ,  李超豪

IPC: G06F16/783 ,  G06F16/732 ,  G06F16/75 ,  G06V20/40 ,  G06V10/74 ,  G06V10/762 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/088

Abstract: 本申请提供一种多模态大模型辅助的无监督跨模态视频检索方法及设备。在本申请一个示例中，该方法包括：对于训练集中的任一视频，利用基于差异性评估的代表性视频帧采样方法，对该视频进行视频帧采样，得到该视频的代表帧，并利用预训练多模态文本标注大模型，生成对应的文本标注；依据代表帧与对应的文本标注之间的相关度，对不满足相关度要求的文本标注进行过滤；依据过滤后的文本标注，确定该视频的文本描述信息，得到视频‑文本描述信息对；依据训练集中各视频对应的视频‑文本描述信息对，对跨模态视频检索模型进行训练。该方法可以降低跨模态视频检索模型训练对人工标注的依赖。