预训练模型的生成方法、装置、电子设备和存储介质

    公开(公告)号:CN113657466A

    公开(公告)日:2021-11-16

    申请号:CN202110866808.8

    申请日:2021-07-29

    Inventor: 希滕 张刚

    Abstract: 本公开提出了一种预训练模型的生成方法、装置、电子设备和存储介质,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术领域,可应用于图像处理、图像识别等场景。方案为:对包含多个模型的超网络执行对应的训练任务,从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合,采用第一图像集测试各组候选模型组合,以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域,根据各组候选模型组合的关注图像区域的面积,从多组候选模型组合中选取目标模型组合,根据目标模型组合生成预训练模型,本公开中根据各组候选模型组合关注图像区域的面积大小,筛选确定目标模型组合,以提高预训练过程中模型组合的精度。

    确定图像特征的方法、装置、电子设备和存储介质

    公开(公告)号:CN113657408A

    公开(公告)日:2021-11-16

    申请号:CN202110934300.7

    申请日:2021-08-13

    Abstract: 本公开提供了一种确定图像特征的方法,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术领域,可应用于图像处理、图像识别等场景。具体实现方案为:将原始图像划分为多个局部图像作为待处理图像,每个局部图像包括多个图像块;根据每个局部图像中各个图像块之间的关系,确定上述待处理图像的局部特征;以及针对每个局部图像,根据该局部图像中预设位置的第一图像块与其他局部图像中上述预设位置的第二图像块之间的关系,确定上述待处理图像的全局特征。本公开还提供了一种确定图像特征的装置、电子设备和存储介质。

    神经网络模型的量化方法和装置

    公开(公告)号:CN113361701A

    公开(公告)日:2021-09-07

    申请号:CN202010144339.4

    申请日:2020-03-04

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开涉及人工智能领域。本公开的实施例公开了神经网络模型的量化方法和装置。该方法包括:获取通过迭代执行多次搜索操作确定的神经网络模型各网络层的量化因子;基于获取到的量化因子对神经网络模型进行量化;搜索操作包括:从预设的量化方法搜索空间搜索出候选量化因子集合,基于候选量化因子集合对神经网络模型进行量化得到候选网络模型,候选量化因子集合包括与神经网络模型的各网络层分别对应的候选量化因子;基于候选网络模型的性能进行反向传播以更新搜索出的候选量化因子集合;响应于确定候选网络模型的性能满足预设的收敛条件,基于当前的候选量化因子集合确定出神经网络模型的各网络层的量化因子。该方法可以减小模型的量化损失。

    神经网络模型的训练方法和装置
    34.
    发明公开

    公开(公告)号:CN113361678A

    公开(公告)日:2021-09-07

    申请号:CN202010144315.9

    申请日:2020-03-04

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开涉及人工智能领域。本公开的实施例公开了神经网络模型的训练方法和装置。该方法包括:对第一神经网络模型按照预设的量化位宽进行量化,得到第二神经网络模型,第一神经网络模型的参数位宽大于第二神经网络模型的参数量化位宽;确定第一神经网络模型的参数分布与量化后的神经网络模型的参数分布之间的分布差异;根据分布差异构建监督函数,基于监督函数,采用预设的媒体数据样本对第一神经网络模型进行训练。该方法可以训练得出适合量化的神经网络模型。

    多模型融合方法、装置、电子设备和存储介质

    公开(公告)号:CN112559870A

    公开(公告)日:2021-03-26

    申请号:CN202011513362.2

    申请日:2020-12-18

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了多模型融合方法、装置、电子设备和存储介质,涉及计算机视觉、深度学习技术等人工智能领域。多模型融合方法具体实现方案为:获取用于表征模型结构和模型性能之间的关系的概率模型;从超网络的搜索空间中搜索多组候选模型组,其中,超网络中包括用于构造模型结构的可选子结构,每组候选模型组中包括多个模型结构;根据概率模型的超参数分别评估每组候选模型组的信息熵;以及根据每组候选模型组的信息熵从多组候选模型组中确定用于多模型融合的目标模型组,以便基于目标模型组中的模型结构进行多模型融合。

    模型搜索方法、装置、电子设备、存储介质和程序产品

    公开(公告)号:CN112528123A

    公开(公告)日:2021-03-19

    申请号:CN202011509331.X

    申请日:2020-12-18

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开公开了一种模型搜索方法、装置、电子设备、存储介质和程序产品,涉及计算机视觉和深度学习技术领域。具体实现方案为:确定初始搜索空间的目标概率分布模型,所述目标概率分布模型用于确定所述初始搜索空间中的模型结构的性能信息;在所述初始搜索空间中采样n个第一子搜索空间;基于所述目标概率分布模型,在所述n个第一子搜索空间中确定第一目标子搜索空间,其中,所述第一目标子搜索空间为所述n个第一子搜索空间中性能最优的第一子搜索空间,所述n为大于1的整数;从所述第一目标子搜索空间中搜索目标模型结构。本公开可以提高模型搜索的效率。

    生成搜索空间的方法、装置、设备及存储介质

    公开(公告)号:CN112100467A

    公开(公告)日:2020-12-18

    申请号:CN202011020842.5

    申请日:2020-09-25

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种生成搜索空间的方法、装置、设备及存储介质,涉及深度学习、计算机视觉等人工智能领域。具体实现方案为:扩展初始的搜索空间;在初始搜索空间中搜索网络结构单元,根据搜索到的网络结构单元和目标模型的结构化信息生成初始模型结构,训练初始模型结构记录训练得到的备选模型的性能;根据备选模型的性能确定最优搜索空间,基于最优搜索空间能够搜索得到最优目标模型,提升目标模型应用于多个领域时的精度和效率;基于同样的硬件目标模型的精度和效率更高;在保证同样精度和效率的前提下,可以用更廉价的硬件实现,减少硬件成本。

    多层感知机的生成方法、装置、电子设备及存储介质

    公开(公告)号:CN111914994A

    公开(公告)日:2020-11-10

    申请号:CN202010560645.6

    申请日:2020-06-18

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了多层感知机的生成方法、装置、电子设备及存储介质,涉及人工智能技术和深度学习领域,可应用于图像处理。具体方案为:先生成感知机搜索空间,再根据感知机搜索空间生成待训练多层感知机;接着,对待训练多层感知机进行训练并进行性能评估,当评估结果不满足评分要求时对待训练多层感知机进行迭代更新,直至评估结果满足评分要求或者对待训练多层感知机的迭代更新次数达到预设迭代次数。通过本申请实现了多层感知机的自动生成,在感知机搜索空间中进行自动搜索以生成多层感知机,可以使得多层感知机中不同隐藏层之间的感知器是非全连接的,从而能够降低过拟合现象出现的概率,保证多感知机模型的性能,提高多感知机模型的鲁棒性。

    支持向量机的生成方法、装置、电子设备及存储介质

    公开(公告)号:CN111914882A

    公开(公告)日:2020-11-10

    申请号:CN202010560659.8

    申请日:2020-06-18

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了支持向量机的生成方法、装置、电子设备及存储介质,涉及人工智能技术和深度学习领域,可应用于图像处理。具体方案为:生成核函数搜索空间,根据核函数搜索空间生成待训练支持向量机,对待训练支持向量机进行训练并进行性能评估,当评估结果不满足评分要求时对待训练支持向量机进行迭代更新,直至评估结果满足评分要求或者对待训练支持向量机的迭代更新次数达到预设迭代次数。通过本申请实现了支持向量机的自动生成,在核函数搜索空间中进行自动搜索以生成支持向量机的核函数,可以使得生成的支持向量机具备复杂的核函数,进而使得支持向量机能够获得较佳的非线性表征能力,保证了支持向量机的性能,提高了支持向量机的鲁棒性。

    基于卷积核的超网络搜索方法、装置、设备和介质

    公开(公告)号:CN111882035A

    公开(公告)日:2020-11-03

    申请号:CN202010707538.1

    申请日:2020-07-21

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种基于卷积核的超网络搜索方法、装置、设备和介质,涉及人工智能、深度学习、神经网络架构搜索和计算机视觉技术。具体实现方案为:训练初始化后的超网络,其中,所述超网络在初始状态下卷积核的尺寸为自然数n;基于所述训练后卷积核尺寸为n的超网络,在搜索空间内尺寸小于n的多个卷积核中按照尺寸从大到小的顺序,依次按照卷积核训练方式进行训练,直到最后一个尺寸的卷积核训练完毕为止,得到超网络搜索结果;其中,所述卷积核训练方式包括冻结卷积核的权重,并训练转换矩阵。本申请保证超网络与子网络的一致性,提升模型在特定硬件上的速度和精度,降低产品的成本。

Patent Agency Ranking