公开(公告)号：CN116049459A

公开(公告)日：2023-05-02

申请号：CN202310324164.9

申请日：2023-03-30

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 赵坤 ,  王立 ,  李仁刚 ,  赵雅倩 ,  范宝余 ,  鲁璐 ,  郭振华

IPC: G06F16/53 ,  G06F16/583 ,  G06F16/55 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/047 ,  G06N3/084

Abstract: 本申请公开了跨模态互检索的方法、装置、服务器及存储介质，涉及数据处理技术领域，其中训练方法包括：构建文本信息特征编码器和图像序列特征编码器；基于文本信息特征编码器和图像序列特征编码器进行检索网络构建，得到初始图像文本检索网络；基于每个样本的正样本组和负样本组构造对齐损失函数；基于对齐损失函数和训练数据对初始图像文本检索网络进行训练，得到多模态图像文本检索网络。以提高对于多结构文本数据和图像数据进行图文互检的准确性。

公开(公告)号：CN115495615B

公开(公告)日：2023-02-28

申请号：CN202211420795.2

申请日：2022-11-15

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 赵坤 ,  王立 ,  李仁刚 ,  赵雅倩 ,  范宝余 ,  鲁璐 ,  郭振华

IPC: G06F16/783 ,  G06F16/732 ,  G06F16/75 ,  G06F16/332 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本申请公开了计算机技术领域内的一种视频与文本的互检方法、装置、设备、存储介质及终端。本申请在确定目标视频中每帧画面的特征后，利用以强化学习方式训练得到的视频播放模型确定目标视频中每帧画面的播放速度，得到目标视频的播放控制策略，通过播放控制策略可以在目标视频中选择出能够表示视频画面转折点的多帧关键画面，后续检索与这些关键画面匹配的目标文本。该方案不以视频里的全部帧进行检索，而是从中选出能够表示视频画面转折点的一些关键画面进行检索，降低了数据处理量，保障了检索精度，提升了检索效率。本申请提供的一种视频与文本的互检装置、设备、存储介质及终端，也同样具有上述技术效果。