公开(公告)号：CN115018010A

公开(公告)日：2022-09-06

申请号：CN202210809470.7

申请日：2022-07-11

Applicant: 东南大学

Inventor： 李佳汶 ,  孙长银 ,  王腾 ,  王远大

IPC: G06K9/62 ,  G06Q30/06 ,  G06V10/74 ,  G06V10/75 ,  G06V10/764

Abstract: 一种基于图像和文本的多模态商品匹配方法，该方法旨在利用商品封面的图像信息和商品标题中的文本信息，找出相匹配的商品；其具体步骤：首先，使用度量学习的方法，使网络学习到具有判别性的特征；其次，分别通过图像和文本网络提取商品特征；再次，从图像、文本和多模态三个角度计算样本间特征的余弦距离，采用查询扩展的方法，实现对匹配结果的重排；最后，设置动态阈值，实现多模态结果的融合，并将满足阈值条件的样本加入到最终匹配结果中。本发明所涉及的神经网络结构和后处理方法，能够有效解决单一模态中存在的少匹配和误匹配问题。在满足匹配精确性的同时，显著提高商品的召回率。

公开(公告)号：CN115018010B

公开(公告)日：2024-08-20

申请号：CN202210809470.7

申请日：2022-07-11

Applicant: 东南大学

Inventor： 李佳汶 ,  孙长银 ,  王腾 ,  王远大

IPC: G06V10/74 ,  G06Q30/0601 ,  G06V10/75 ,  G06V10/764

Abstract: 一种基于图像和文本的多模态商品匹配方法，该方法旨在利用商品封面的图像信息和商品标题中的文本信息，找出相匹配的商品；其具体步骤：首先，使用度量学习的方法，使网络学习到具有判别性的特征；其次，分别通过图像和文本网络提取商品特征；再次，从图像、文本和多模态三个角度计算样本间特征的余弦距离，采用查询扩展的方法，实现对匹配结果的重排；最后，设置动态阈值，实现多模态结果的融合，并将满足阈值条件的样本加入到最终匹配结果中。本发明所涉及的神经网络结构和后处理方法，能够有效解决单一模态中存在的少匹配和误匹配问题。在满足匹配精确性的同时，显著提高商品的召回率。