公开(公告)号：CN112529986B

公开(公告)日：2023-09-22

申请号：CN201910891325.6

申请日：2019-09-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 王巧华 ,  刘林 ,  阴凉 ,  唐楠 ,  李小康 ,  任峰 ,  张人愉 ,  祁小玉 ,  殷睿阳

IPC: G06T11/60 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了图文相关性的计算模型建立方法、计算方法及装置，涉及计算机领域。具体实现方案为：将图像样本输入第一神经网络，将文本样本输入第二神经网络；将图像样本的表示向量和文本样本的表示向量输入第三神经网络的输入端，第三神经网络的输入端包括全连接层；第一、第二和第三神经网络形成初始化模型，利用图像样本和文本样本对初始化模型进行训练，得到图文相关性的计算模型。将目标图像和目标文本输入上述模型，即可得出相关性值。通过上述方案，以整体模型来进行相关性的计算。在训练时整体模型中的三个神经网络联动训练，打破模型之间的壁垒，提高相关性计算的准确度。

公开(公告)号：CN113495971B

公开(公告)日：2024-05-24

申请号：CN202010268770.X

申请日：2020-04-08

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 殷睿阳 ,  李小康 ,  张人愉 ,  王鲁光 ,  王巧华 ,  许青 ,  阴凉 ,  刘林 ,  唐楠

IPC: G06F16/535 ,  G06F16/58 ,  G06F40/30

Abstract: 本申请公开了一种数据转换模型的优化方法、装置和电子设备，涉及计算机计算领域中的人工智能领域。具体实现方案为：一种数据转换模型的优化方法，包括：获取第一样本，其中，所述第一样本包括第一像素矩阵和第一文本，所述第一像素矩阵为第一图片的像素矩阵，所述第一文本所表示的语义与所述第一图片匹配；基于所述第一样本、第一优化函数和第一预设关系，对数据转换模型进行优化，得到第一目标数据转换模型。本申请实施例提供的一种数据转换模型的优化方法、装置和电子设备，可以解决现有技术中存在图片与文本之间的对应效果差的问题。

公开(公告)号：CN113495971A

公开(公告)日：2021-10-12

申请号：CN202010268770.X

申请日：2020-04-08

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 殷睿阳 ,  李小康 ,  张人愉 ,  王鲁光 ,  王巧华 ,  许青 ,  阴凉 ,  刘林 ,  唐楠

IPC: G06F16/535 ,  G06F16/58 ,  G06F40/30

Abstract: 本申请公开了一种数据转换模型的优化方法、装置和电子设备，涉及计算机计算领域中的人工智能领域。具体实现方案为：一种数据转换模型的优化方法，包括：获取第一样本，其中，所述第一样本包括第一像素矩阵和第一文本，所述第一像素矩阵为第一图片的像素矩阵，所述第一文本所表示的语义与所述第一图片匹配；基于所述第一样本、第一优化函数和第一预设关系，对数据转换模型进行优化，得到第一目标数据转换模型。本申请实施例提供的一种数据转换模型的优化方法、装置和电子设备，可以解决现有技术中存在图片与文本之间的对应效果差的问题。

公开(公告)号：CN112529986A

公开(公告)日：2021-03-19

申请号：CN201910891325.6

申请日：2019-09-19

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 王巧华 ,  刘林 ,  阴凉 ,  唐楠 ,  李小康 ,  任峰 ,  张人愉 ,  祁小玉 ,  殷睿阳

IPC: G06T11/60 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了图文相关性的计算模型建立方法、计算方法及装置，涉及计算机领域。具体实现方案为：将图像样本输入第一神经网络，将文本样本输入第二神经网络；将图像样本的表示向量和文本样本的表示向量输入第三神经网络的输入端，第三神经网络的输入端包括全连接层；第一、第二和第三神经网络形成初始化模型，利用图像样本和文本样本对初始化模型进行训练，得到图文相关性的计算模型。将目标图像和目标文本输入上述模型，即可得出相关性值。通过上述方案，以整体模型来进行相关性的计算。在训练时整体模型中的三个神经网络联动训练，打破模型之间的壁垒，提高相关性计算的准确度。