公开(公告)号：CN118587409B

公开(公告)日：2024-11-19

申请号：CN202411054298.4

申请日：2024-08-02

申请人： 成都考拉悠然科技有限公司

发明人： 易国锋 ,  魏琢原 ,  蒋寻 ,  徐行 ,  沈复民

IPC分类号： G06F30/27

公开(公告)号：CN118587409A

公开(公告)日：2024-09-03

申请号：CN202411054298.4

申请日：2024-08-02

申请人： 成都考拉悠然科技有限公司

发明人： 易国锋 ,  魏琢原 ,  蒋寻 ,  徐行 ,  沈复民

IPC分类号： G06V10/24 ,  G06V10/774 ,  G06V10/40 ,  G06V10/80 ,  G06V20/40

摘要： 本申请提供视频定位模型训练方法，包括：通过初始视频定位模型提取样本数据集中样本文本的单词级文本特征，以及样本数据集中样本视频的帧级视频特征；融合单词级文本特征与帧级视频特征，得到句子级文本特征和包含上下文语义信息的视觉特征；确定视觉特征对应的剪辑视频段的阶段特定表示，并根据阶段特定表示，在剪辑视频段中选取候选视频段；通过候选视频段与样本数据集中的真实视频段，对初始视频定位模型进行训练，直至满足训练停止条件，得到目标视频定位模型。本申请能够获取更具辨识力的多模态融合特征，并增强模型的跨模态对齐能力，实现视频和文本之间的细粒度对齐，提高了模型的组合泛化能力，保障模型能够实现高效的组合时刻定位。