-
公开(公告)号：CN118410206B
公开(公告)日：2024-09-13
申请号：CN202410875356.3
申请日：2024-07-01
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/732 , G06F16/783 , G06N3/088
Abstract: 本申请提供一种基于对比学习的无监督高效视频检索方法、装置及设备，该方法包括：对第一样本视频对应的初始特征进行数据增强得到增强后特征；基于增强后特征获取长片段特征和短片段特征；将长片段特征输入给初始检索模型得到第一视频级特征，将短片段特征输入给初始检索模型得到第二视频级特征；基于第一视频级特征与第二视频级特征的相似度、第一样本视频的参考视频级特征与第二样本视频的参考视频级特征的相似度确定第一损失值；基于第一损失值对初始检索模型进行优化，得到优化后的检索模型，基于优化后的检索模型确定目标检索模型；目标检索模型用于检索与待检测视频匹配的目标视频。通过本申请的技术方案，提升检索模型的检索效率。
-
公开(公告)号：CN118427396A
公开(公告)日：2024-08-02
申请号：CN202410893508.2
申请日：2024-07-03
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/783 , G06F16/732 , G06F16/75 , G06V20/40 , G06V10/74 , G06V10/762 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/088
Abstract: 本申请提供一种多模态大模型辅助的无监督跨模态视频检索方法及设备。在本申请一个示例中，该方法包括：对于训练集中的任一视频，利用基于差异性评估的代表性视频帧采样方法，对该视频进行视频帧采样，得到该视频的代表帧，并利用预训练多模态文本标注大模型，生成对应的文本标注；依据代表帧与对应的文本标注之间的相关度，对不满足相关度要求的文本标注进行过滤；依据过滤后的文本标注，确定该视频的文本描述信息，得到视频‑文本描述信息对；依据训练集中各视频对应的视频‑文本描述信息对，对跨模态视频检索模型进行训练。该方法可以降低跨模态视频检索模型训练对人工标注的依赖。
-
公开(公告)号：CN118410206A
公开(公告)日：2024-07-30
申请号：CN202410875356.3
申请日：2024-07-01
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/732 , G06F16/783 , G06N3/088
Abstract: 本申请提供一种基于对比学习的无监督高效视频检索方法、装置及设备，该方法包括：对第一样本视频对应的初始特征进行数据增强得到增强后特征；基于增强后特征获取长片段特征和短片段特征；将长片段特征输入给初始检索模型得到第一视频级特征，将短片段特征输入给初始检索模型得到第二视频级特征；基于第一视频级特征与第二视频级特征的相似度、第一样本视频的参考视频级特征与第二样本视频的参考视频级特征的相似度确定第一损失值；基于第一损失值对初始检索模型进行优化，得到优化后的检索模型，基于优化后的检索模型确定目标检索模型；目标检索模型用于检索与待检测视频匹配的目标视频。通过本申请的技术方案，提升检索模型的检索效率。
-
公开(公告)号：CN118427396B
公开(公告)日：2024-09-03
申请号：CN202410893508.2
申请日：2024-07-03
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/783 , G06F16/732 , G06F16/75 , G06V20/40 , G06V10/74 , G06V10/762 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/088
Abstract: 本申请提供一种多模态大模型辅助的无监督跨模态视频检索方法及设备。在本申请一个示例中，该方法包括：对于训练集中的任一视频，利用基于差异性评估的代表性视频帧采样方法，对该视频进行视频帧采样，得到该视频的代表帧，并利用预训练多模态文本标注大模型，生成对应的文本标注；依据代表帧与对应的文本标注之间的相关度，对不满足相关度要求的文本标注进行过滤；依据过滤后的文本标注，确定该视频的文本描述信息，得到视频‑文本描述信息对；依据训练集中各视频对应的视频‑文本描述信息对，对跨模态视频检索模型进行训练。该方法可以降低跨模态视频检索模型训练对人工标注的依赖。
-
-
-
Search Results
4
records
(took 0.03 seconds)
