神经网络的处理方法和装置

    公开(公告)号:CN111767990A

    公开(公告)日:2020-10-13

    申请号:CN202010601501.0

    申请日:2020-06-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了神经网络的处理方法和装置,涉及人工智能、云计算、深度学习技术领域,可用于图像处理。具体实施方式包括:获取预先训练的多个候选神经网络以及多个候选神经网络中各个候选神经网络的标识;确定搜索空间,其中,搜索空间用于从各个标识中选取进行特征融合的至少两个候选神经网络的标识并确定特征融合方式;获取搜索空间的搜索参数的参数值;采用参数值,在搜索空间中搜索至少两个候选神经网络的标识;将搜索到至少两个候选神经网络的标识的轮次所对应的参数值中,与特征融合关联的参数值作为特征融合方式。本申请可以通过在搜索空间中搜索的方式,提升神经网络的融合效果,并通过获取搜索参数的参数值,可以提高融合速度。

    神经网络的训练方法和装置

    公开(公告)号:CN111767989A

    公开(公告)日:2020-10-13

    申请号:CN202010601427.2

    申请日:2020-06-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了神经网络的训练方法和装置,涉及人工智能、深度学习技术领域,可用于图像处理。具体实施方式包括:获取待训练的神经网络,启动对所述神经网络的训练,其中,对所述神经网络的训练以分布式的方式在不同主体执行,且包括至少两轮次迭代;响应于达到训练中的任一预设迭代轮次,在所述不同主体,以至少两个衰减速度进行一轮次学习率的衰减过程,并以衰减得到的学习率进行迭代;响应于完成对所述神经网络的所述至少两轮次迭代,基于所述至少两轮次迭代后的神经网络,得到训练后的神经网络。本申请可以采用不同的衰减速度,实现了学习率的异步衰减,从而促进了训练过程中神经网络的收敛。并且,采用分布式的训练方式,提升了训练速度。

    模型生成方法、装置、电子设备及存储介质

    公开(公告)号:CN111753759A

    公开(公告)日:2020-10-09

    申请号:CN202010599167.X

    申请日:2020-06-28

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了模型生成方法、装置、电子设备及存储介质,涉及人工智能中深度学习、云计算及计算机视觉领域,具体用于戴口罩人脸检测方面。具体实现方案为:获取第一模型;执行N次迭代操作搜索得到目标模型;其中,N为大于等于2的整数;其中,在所述N次迭代操作中的第i次迭代操作中,基于第i个模型编码生成器得到第i个待训练的第二模型;其中,i为大于等于1且小于等于N的整数;其中,所述待训练的第二模型的结构复杂度低于所述第一模型的结构复杂度;基于所述第一模型对第i个待训练的第二模型进行蒸馏,得到第二模型;若所述迭代操作的累计次数达到预设的次数阈值N,则将所述第二模型作为搜索得到的所述目标模型。

    人脸识别模型处理方法、装置、设备和存储介质

    公开(公告)号:CN111680597A

    公开(公告)日:2020-09-18

    申请号:CN202010478433.3

    申请日:2020-05-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种人脸识别模型处理方法、装置、设备和存储介质,涉及人工智能深度学习技术领域,尤其涉及计算机视觉技术应用。具体实现方案为:根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;其中,所述搜索空间至少包括候选空洞卷积和/或候选非局域模块;对所述遮挡人脸识别超网络进行采样,得到遮挡人脸识别子网络;采用遮挡样本数据,对所述遮挡人脸识别子网络进行训练,并根据训练结果更新所述遮挡人脸识别超网络。本申请提供了适合遮挡场景的人脸识别模型结构,从而能够提高遮挡场景下人脸识别性能。

    用于训练超网络的方法、装置、设备以及存储介质

    公开(公告)号:CN111652354A

    公开(公告)日:2020-09-11

    申请号:CN202010479963.X

    申请日:2020-05-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了用于训练超网络的方法、装置、设备以及存储介质,涉及人工智能技术领域,更进一步涉及深度学习技术领域。具体实现方案为:根据预先建立的超网络的搜索空间,确定多个子网络集合;多次执行以下迭代操作:从子网络集合中选取多个子网络;对子网络以及超网络进行更新,从更新的子网络提取的特征中确定出对比特征,从更新的超网络中确定出对比超网络;基于提取的特征以及对比特征,对对比超网络进行更新;根据更新的对比超网络更新超网络。本实现方式训练得到的超网络精度更高,从超网络中采样出的子网络与独立训练的网络的性能一致。由此,在将本实现方式的超网络应用到图像处理领域时,基于NAS可以快速地搜索出性能优越的子网络。

    生成神经网络模型的方法和装置

    公开(公告)号:CN111582453A

    公开(公告)日:2020-08-25

    申请号:CN202010387566.X

    申请日:2020-05-09

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了生成神经网络模型的方法和装置。该方法包括:构建多路径超网络,多路径超网络的每一个卷积层包括至少一个分支,每一卷积层的一个分支分别对应该卷积层的一种卷积模块结构,卷积模块结构包括与该卷积层对应尺寸的一个卷积核或者至少两个并行运算的卷积核;基于样本数据对多路径超网络进行训练;基于训练完成的多路径超网络,搜索出性能信息满足第一预设条件的网络结构作为目标神经网络模型的结构,其中,网络结构通过对训练完成的多路径超网络进行路径采样得出。该方法实现了卷积神经网络结构的优化。

    神经网络模型的训练方法和装置

    公开(公告)号:CN111563593A

    公开(公告)日:2020-08-21

    申请号:CN202010383383.0

    申请日:2020-05-08

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了神经网络模型的训练方法和装置。该方法包括执行如下搜索操作:根据预设的截断策略控制器,从预设的截断策略的搜索空间中确定出当前的截断策略,截断策略包括神经网络模型的参数或中间输出数据的二进制表征中被截断的位数;基于当前的截断策略对待训练的目标神经网络模型进行迭代训练,获取基于当前的截断策略训练完成的目标神经网络模型的性能并生成对应的反馈信息;响应于确定基于当前的截断策略训练完成的目标神经网络模型未达到预设的收敛条件,基于反馈信息迭代更新截断策略控制器,以基于更新后的截断策略控制器执行下一次搜索操作。通过该方法训练得到的神经网络模型在量化后的精度损失较小。

    超网络的训练方法和装置
    48.
    发明公开

    公开(公告)号:CN111563591A

    公开(公告)日:2020-08-21

    申请号:CN202010383356.3

    申请日:2020-05-08

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了超网络的训练方法和装置。该方法包括:获取样本数据;将待训练的超网络作为初始的当前超网络,迭代执行多次裁剪训练操作直到当前超网络的各个特征提取层保留的连接数均为1;响应于确定裁剪完成的超网络未达到预设的收敛条件,基于样本数据对裁剪完成的超网络进行训练;裁剪训练操作包括:对当前超网络进行训练;利用训练后的当前超网络对图像数据进行特征提取得到第一特征图;对训练后的超网络中的特征提取层分别进行N次裁剪,利用裁剪后的超网络分别对图像数据进行特征提取得到N组第二特征图;确定与第一特征图的距离最小的一组第二特征图对应的裁剪后的超网络为新的当前超网络。该方法提升了超网络的准确性。

    训练人脸图像合成模型的方法和装置

    公开(公告)号:CN111539903A

    公开(公告)日:2020-08-14

    申请号:CN202010300269.7

    申请日:2020-04-16

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开的实施例公开了训练人脸图像合成模型的方法和装置,涉及图像处理领域。该方法包括:获取包括身份特征提取网络、待训练的纹理特征提取网络和待训练的解码器的待训练的人脸图像合成模型;将样本人脸图像输入至待训练的纹理特征提取网络和身份特征提取网络进行特征提取;拼接样本人脸图像的纹理特征和身份特征得到拼接特征,基于待训练的解码器对拼接特征解码得到样本人脸图像对应的合成人脸图像;提取合成人脸图像的身份特征,基于样本人脸图像的身份特征和对应的合成人脸图像的身份特征的差异确定人脸图像合成误差,基于人脸图像合成误差迭代调整待训练的纹理特征提取网络和待训练的解码器的参数。该方法能获得性能良好的人脸图像合成模型。

    语义理解模型的剪枝方法、装置、电子设备和存储介质

    公开(公告)号:CN111539224A

    公开(公告)日:2020-08-14

    申请号:CN202010592197.8

    申请日:2020-06-25

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种语义理解模型的剪枝方法、装置、电子设备和存储介质,涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。具体实现方案为:获取第一语义理解模型;利用编码生成器在搜索空间中采样剪枝策略;根据采样得到的剪枝策略,对第一语义理解模型进行剪枝,得到第二语义理解模型;确定第二语义理解模型的性能信息;根据性能信息更新编码生成器,返回采样剪枝策略的步骤,直至采样剪枝策略的次数达到预设阈值N;将第N次采样得到的剪枝策略对应的第二语义理解模型确定为目标模型。实施本申请实施例,可以得到语义表示能力强且结构精简的目标模型。

Patent Agency Ranking