媒体全局信息提取方法、装置、计算机设备和存储介质

    公开(公告)号:CN116975331A

    公开(公告)日:2023-10-31

    申请号:CN202310203065.5

    申请日:2023-02-23

    Abstract: 本申请涉及人工智能,具体本申请涉及一种媒体全局信息提取方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取媒体数据集和媒体数据集初始的全局时空特征;根据初始的全局时空特征,确定与媒体数据集的多个媒体数据对应的多个媒体特征序列;基于多个媒体特征序列确定初始的挖掘特征序列,并基于初始的挖掘特征序列进行多轮次的挖掘,获得输出的挖掘特征序列;根据输出的挖掘特征序列中与媒体数据集中的多个媒体数据各自对应的全局时空特征,确定与媒体数据集相对应的媒体全局信息。采用本方法能够提升媒体全局信息的准确性。

    模态哈希网络的训练方法、装置、设备、介质和程序产品

    公开(公告)号:CN116955656A

    公开(公告)日:2023-10-27

    申请号:CN202310671464.4

    申请日:2023-06-07

    Inventor: 涂荣成

    Abstract: 本申请公开了一种模态哈希网络的训练方法、装置、设备、介质和程序产品,属于人工智能领域。该训练方法包括:获取样本数据集;采用与样本数据的模态相对应的至少两种模态哈希网络,分别对样本数据进行映射处理,得到样本数据对应的至少两种模态哈希码;获取样本数据集的类别信息对应的各类别哈希码;类别哈希码是基于训练后的数据感知代理网络对类别信息进行映射处理并对样本数据进行数据感知得到的,数据感知是指感知样本数据本身的特征信息;基于至少两种模态哈希码以及各类别哈希码,分别对至少两种模态哈希网络的模型参数进行训练,得到训练后的至少两种模态哈希网络。上述方案可以使模态哈希网络实现数据感知,提高哈希码的区分度和精度。

    多媒体信息编码方法、对象检索方法及装置

    公开(公告)号:CN115134338A

    公开(公告)日:2022-09-30

    申请号:CN202210563346.7

    申请日:2022-05-20

    Inventor: 蔡成飞 涂荣成

    Abstract: 本申请涉及机器学习技术领域,尤其涉及一种多媒体信息编码方法、对象检索方法及装置,所述多媒体信息编码方法包括:获取待编码多媒体信息;基于目标编码模型对所述待编码多媒体信息进行信息编码,得到与所述待编码多媒体信息对应的目标编码信息;所述目标编码模型基于损失信息对待训练编码模型进行模型训练得到;所述损失信息基于各项样本编码信息分别对应的相似编码信息以及差异编码信息确定;所述各项样本编码信息分别对应的相似编码信息以及差异编码信息基于所述各项样本多媒体信息之间的两两相似信息,从所述样本编码信息集合中确定出。本申请能够提高了多媒体信息的编码准确性。

    跨模态哈希模型的训练方法、编码方法、装置及电子设备

    公开(公告)号:CN114398980A

    公开(公告)日:2022-04-26

    申请号:CN202210038252.8

    申请日:2022-01-13

    Abstract: 本申请提供了一种跨模态哈希模型的训练方法、编码方法、装置及电子设备;涉及人工智能技术领域,方法包括:调用跨模态哈希模型对获取到的多个样本对进行降维哈希编码处理,得到多个哈希编码对;针对每个哈希编码对,在哈希编码对中每个位置的哈希数据点对中,确定权重较大的目标数据哈希点,基于每个目标哈希数据点确定哈希编码对的二值码;基于每个哈希编码对、多个样本对所对应的相似度矩阵,以及每个哈希编码对与所对应的二值码之间的差异,确定跨模态哈希模型的总量化损失;基于总量化损失更新跨模态哈希模型的参数。通过本申请,能够提升跨模态哈希模型的编码精度,进而节约计算不同样本的编码结果之间相似度所占用的计算资源。

    跨模态哈希模型的训练方法、编码方法、装置及电子设备

    公开(公告)号:CN114398980B

    公开(公告)日:2025-01-03

    申请号:CN202210038252.8

    申请日:2022-01-13

    Abstract: 本申请提供了一种跨模态哈希模型的训练方法、编码方法、装置及电子设备;涉及人工智能技术领域,方法包括:调用跨模态哈希模型对获取到的多个样本对进行降维哈希编码处理,得到多个哈希编码对;针对每个哈希编码对,在哈希编码对中每个位置的哈希数据点对中,确定权重较大的目标数据哈希点,基于每个目标哈希数据点确定哈希编码对的二值码;基于每个哈希编码对、多个样本对所对应的相似度矩阵,以及每个哈希编码对与所对应的二值码之间的差异,确定跨模态哈希模型的总量化损失;基于总量化损失更新跨模态哈希模型的参数。通过本申请,能够提升跨模态哈希模型的编码精度,进而节约计算不同样本的编码结果之间相似度所占用的计算资源。

    多媒体信息编码方法、对象检索方法及装置

    公开(公告)号:CN115134338B

    公开(公告)日:2023-08-11

    申请号:CN202210563346.7

    申请日:2022-05-20

    Inventor: 蔡成飞 涂荣成

    Abstract: 本申请涉及机器学习技术领域,尤其涉及一种多媒体信息编码方法、对象检索方法及装置,所述多媒体信息编码方法包括:获取待编码多媒体信息;基于目标编码模型对所述待编码多媒体信息进行信息编码,得到与所述待编码多媒体信息对应的目标编码信息;所述目标编码模型基于损失信息对待训练编码模型进行模型训练得到;所述损失信息基于各项样本编码信息分别对应的相似编码信息以及差异编码信息确定;所述各项样本编码信息分别对应的相似编码信息以及差异编码信息基于所述各项样本多媒体信息之间的两两相似信息,从所述样本编码信息集合中确定出。本申请能够提高了多媒体信息的编码准确性。

    一种模型训练方法、装置、设备、存储介质及产品

    公开(公告)号:CN117216534A

    公开(公告)日:2023-12-12

    申请号:CN202310181561.5

    申请日:2023-02-22

    Abstract: 本申请实施例公开了一种模型训练方法、装置、设备、存储介质及产品。其中方法包括:获取第一模态数据集合,第二模态数据集合,第一掩盖数据集合和第二掩盖数据集合,采用特征提取模型对第一掩盖数据集合和第二模态数据集合进行特征预测处理,并对第二掩盖数据集合和第一模态数据集合进行特征预测处理,得到第一模态数据集合和第二模态数据集合对应的全局复原特征和全局特征,并根据预测结果,对特征提取模型进行优化处理。可见,基于第一模态数据集合和第二模态数据集合对应的全局复原特征和全局特征对特征提取模型进行优化处理,可以促进特征提取模型学习全局特征与局部特征的对齐,从而提高特征提取模型的预测结果的准确度。

    哈希模型训练方法、检索方法和装置

    公开(公告)号:CN117036743A

    公开(公告)日:2023-11-10

    申请号:CN202211329555.1

    申请日:2022-10-27

    Inventor: 蔡成飞 涂荣成

    Abstract: 本申请提供了一种哈希模型训练方法、检索方法和装置,涉及人工智能的机器学习领域。该模型训练方法包括:获取训练样本集,包括n个图片样本;利用视觉语言模型,获取每个图片样本的语义概念信息;其中,视觉语言模型根据文本‑图像对预训练得到;根据每个图片样本的语义概念信息,获取n个图片样本间的语义相似性;将该n个图片样本输入哈希模型,得到n个图片样本的哈希码;根据n个图片样本间的语义相似性和n个图片样本的哈希码,确定哈希损失;根据哈希损失,对哈希模型的参数进行更新,得到训练后的哈希模型。本申请实施例能够有助于提升无监督哈希技术的检索精度。

    图像检索方法、装置、电子设备、存储介质及程序产品

    公开(公告)号:CN116975341A

    公开(公告)日:2023-10-31

    申请号:CN202310538798.4

    申请日:2023-05-12

    Inventor: 涂荣成

    Abstract: 本申请提供了一种图像检索方法、装置、电子设备、存储介质及程序产品;方法包括:获取图像检索条件,图像检索条件包括参考图像和修改文本,修改文本,用于指示对参考图像的修改期望;对参考图像和修改文本进行组合,得到参考图像‑修改文本组合;获取多张候选图像,并确定各候选图像与参考图像‑修改文本组合之间的第一相似度,以及各候选图像与修改文本之间的第二相似度;结合第一相似度和第二相似度,从多张候选图像中确定与图像检索条件相适配的至少一张目标图像。通过本申请,能够有效提高图像检索的准确度。

    对象信息处理方法、装置、设备和介质

    公开(公告)号:CN116975190A

    公开(公告)日:2023-10-31

    申请号:CN202310553428.8

    申请日:2023-05-16

    Inventor: 蔡成飞 涂荣成

    Abstract: 本申请涉及一种对象信息处理方法,包括:获取样本集;样本集中各样本对象信息携带有标签;确定样本对象信息的标签相似度与哈希相似度的差异,得到第一损失值;哈希相似度是待训练的哈希生成模型针对样本对象信息生成的哈希码间的相似度;针对样本集中的每个目标样本对象信息,确定目标样本对象信息与相似样本对象信息间的第一哈希相似度;确定目标样本对象信息与不相似样本对象信息间的第二哈希相似度;根据各目标样本对象信息分别对应的第一哈希相似度和第二哈希相似度确定第二损失值;根据第一损失值和第二损失值,对待训练的哈希生成模型进行训练;已训练的哈希生成模型用于生成目标对象信息的哈希码。采用本方法可提升哈希码生成准确率。

Patent Agency Ranking