多模型融合方法、装置、电子设备和存储介质

    公开(公告)号:CN112559870B

    公开(公告)日:2023-10-31

    申请号:CN202011513362.2

    申请日:2020-12-18

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了多模型融合方法、装置、电子设备和存储介质,涉及计算机视觉、深度学习技术等人工智能领域。多模型融合方法具体实现方案为:获取用于表征模型结构和模型性能之间的关系的概率模型;从超网络的搜索空间中搜索多组候选模型组,其中,超网络中包括用于构造模型结构的可选子结构,每组候选模型组中包括多个模型结构;根据概率模型的超参数分别评估每组候选模型组的信息熵;以及根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组,以便基于目标模型组中的模型结构进行多模型融合。

    神经网络模型的蒸馏方法和装置

    公开(公告)号:CN111582479B

    公开(公告)日:2023-10-27

    申请号:CN202010387563.6

    申请日:2020-05-09

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了神经网络模型的蒸馏方法和装置。该方法包括:构建蒸馏策略的搜索空间;通过执行多次迭代操作对第二神经网络模型进行蒸馏训练,迭代操作包括:采用预设的控制器从蒸馏策略的搜索空间中搜索出候选蒸馏策略,基于候选蒸馏策略,将预设的至少一个第一神经网络模型作为教师网络对第二神经网络模型进行蒸馏训练;获取基于候选蒸馏策略蒸馏后的第二神经网络模型的性能,并根据蒸馏后的第二神经网络模型的性能生成反馈信息;根据反馈信息更新控制器;响应于根据反馈信息确定当前的迭代操作未达到预设的收敛条件,基于更新后的控制器执行下一次迭代操作。该方法实现了最优蒸馏策略的自动搜索。

    神经网络模型搜索方法及装置、图像处理方法及装置

    公开(公告)号:CN111488971B

    公开(公告)日:2023-10-24

    申请号:CN202010273488.0

    申请日:2020-04-09

    Abstract: 本申请公开了一种神经网络模型搜索方法及装置、图像处理方法及装置,涉及神经网络模型搜索领域。具体实现方案为:神经网络模型搜索方法,包括:利用性能预测模型,选取实际训练集;采用实际训练集中的各个子网络多次更新超网络;基于更新后的超网络的超参数,得到实际训练集中的各个子网络的评估性能;采用实际训练集中的各个子网络的评估性能更新性能预测模型,在性能预测模型或超网络的更新次数达到对应阈值的情况下,利用超网络的各个子网络的最终评估性能生成第一搜索结果。逐步提高性能预测模型的预测精确度以及超网络的搜索速度,进而提高了搜索得到子网络的性能,以及搜索子网络的效率。

    神经网络模型的压缩方法及装置、图像处理方法及处理器

    公开(公告)号:CN111275190B

    公开(公告)日:2023-10-10

    申请号:CN202010116576.X

    申请日:2020-02-25

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种神经网络模型的压缩方法及装置、图像处理方法、图像处理器,涉及神经网络压缩领域。神经网络模型的压缩方法包括:建立神经网络模型的每个神经网络层对应的搜索空间,搜索空间包括候选剪枝率;各搜索空间的候选剪枝率输入至剪枝策略生成模型,得到剪枝策略;根据剪枝策略对神经网络模型进行剪枝。因为对每个神经网络层建立对应的搜索空间,使得各个神经网络层对应的剪枝率可以不同,克服了由于每个神经网络层对应的剪枝率均相同,从而导致的剪枝后神经网络模型的提速不明显,模型性能较差的技术问题,有效提升神经网络模型的速度以及性能。

    目标识别模型训练方法、装置、设备以及存储介质

    公开(公告)号:CN111626119B

    公开(公告)日:2023-09-01

    申请号:CN202010328703.2

    申请日:2020-04-23

    Abstract: 本申请实施例公开了目标识别模型训练方法、装置、设备以及存储介质,涉及人工智能技术领域。该方法的一具体实施方式包括:获取训练样本集,其中,训练样本集中的训练样本包括样本目标图像和样本目标特征;基于训练样本集中的训练样本之间的样本目标特征关系,构建有符号邻接矩阵;构建深度模型,以及基于有符号邻接矩阵构建图卷积神经网络;利用训练样本集对深度模型和图卷积神经网络进行有监督训练,得到目标识别模型。该实施方式提供了一种基于图卷积的目标识别技术,利用图卷积方法对特征空间进行优化,能够更有效地使类间距离增大而类内距离减小,从而显著提升了目标识别模型的性能。

    语义理解框架结构的搜索方法和装置

    公开(公告)号:CN111539226B

    公开(公告)日:2023-07-04

    申请号:CN202010592760.1

    申请日:2020-06-25

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种语义理解框架结构的搜索方法、装置、电子设备和存储介质,涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。具体实现方案为:接收服务器发起的编码请求;响应于接收到的编码请求,利用编码生成器生成编码信息,向所述服务器发送所述编码信息,以获取所述编码信息对应的语义理解框架结构及其性能信息;响应于获取到的性能信息,更新所述编码生成器;如果所述编码生成器的更新次数达到预设阈值N,则在发送所述编码信息后,停止接收所述编码请求;将第N次更新的编码生成器所生成的编码信息对应的语义理解框架结构确定为目标结构。本申请实施例可以提高自动搜索语义理解框架结构的速度。

    超网络的搜索空间构建方法、装置以及电子设备

    公开(公告)号:CN110826696B

    公开(公告)日:2023-06-27

    申请号:CN201911051830.6

    申请日:2019-10-30

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种超网络的搜索空间构建方法、装置以及电子设备,涉及超网络搜索空间领域。具体实现方案为:对深度神经网络的第L层特征图中任意一个特征图,经过下采样得到第L+1层特征图,第L+1层特征图中包括多个尺寸的特征图;对第L层特征图中任意一个特征图,经过上采样得到第L‑1层特征图,第L+1层特征图中包括多个尺寸的特征图;根据第L层特征图、L+1层特征图以及第L‑1层特征图构建超网络的搜索空间,L大于或等于2。实现了多尺寸特征图的融合,有效扩大了超网络的搜索空间,能够搜索得到更多的模型结构。

    候选框过滤方法、装置以及电子设备

    公开(公告)号:CN110852321B

    公开(公告)日:2022-11-22

    申请号:CN201911096493.2

    申请日:2019-11-11

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种候选框过滤方法、装置以及电子设备,涉及候选框过滤领域。具体实现方案为:将超参数的个数和超参数范围输入至过滤策略生成模型,得到超参数序列;根据超参数序列,从待检测图片中的全部候选框中过滤掉冗余的候选框;根据保留的候选框计算超参数序列对应的检测评价信息;利用检测评价信息更新过滤策略生成模型,直至收敛,得到目标候选框。解决基于人工设置非极大抑制阈值方法不能同时保证检测框准确率和召回率的问题,达到同时提高目标检测任务的准确率和召回率的技术效果。

    搜索模型结构的方法、装置、设备和存储介质

    公开(公告)号:CN110705695B

    公开(公告)日:2022-11-18

    申请号:CN201910959674.7

    申请日:2019-10-10

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了搜索模型结构的方法、装置、设备和计算机可读存储介质,涉及人工智能领域。该方法包括确定能够用于从图像中检测目标对象的模型结构搜索空间,该模型结构搜索空间包括多个候选模型结构,其中每个候选模型结构指示将从图像得到的多个特征图融合成用于检测目标对象的输出特征图的融合方式,以及在融合中应用于多个特征图的相应操作;以及基于待检测目标对象的类型,在模型结构搜索空间中搜索适合用于从图像中检测待检测目标对象的模型结构。本公开的实施例能够自动搜索适合用于目标检测任务的最优模型结构。

Patent Agency Ranking