公开(公告)号：CN115409168A

公开(公告)日：2022-11-29

申请号：CN202110596002.1

申请日：2021-05-29

Applicant: 华为云计算技术有限公司

Inventor： 周卫民 ,  麦宇庭 ,  李亿 ,  郭益君 ,  邓彬彬 ,  戴宗宏

IPC: G06N3/08 ,  G06N3/04 ,  G06N5/00 ,  G06N5/04

Abstract: 本申请公开了一种神经网络优化方法及其装置，属于人工智能AI技术领域。该方法包括：接收待优化神经网络的模型文件；基于待优化神经网络的模型文件，获取目标神经网络架构的搜索空间，搜索空间包括目标神经网络架构中各神经元的各属性的取值范围；基于搜索空间，获得目标神经网络架构；基于待优化神经网络的模型文件对目标神经网络架构进行训练，得到目标神经网络的模型文件；向用户提供目标神经网络的模型文件。本申请能够有效提高优化后的神经网络的性能。

公开(公告)号：CN113361680B

公开(公告)日：2024-04-12

申请号：CN202010290428.X

申请日：2020-04-14

Applicant: 华为云计算技术有限公司

Inventor： 周卫民 ,  郭益君 ,  李亿 ,  麦宇庭 ,  邓彬彬

IPC: G06N3/0464 ,  G06N3/044 ,  G06N3/08

Abstract: 本申请提供了一种神经网络架构搜索方法，应用于搜索系统，搜索系统包括生成器和搜索器，该方法包括：生成器根据搜索空间生成多个神经网络架构，搜索器获取根据多个神经网络架构获得的多个子模型在第一硬件上的评价指标值，搜索器根据多个子模型对应的神经网络架构和多个子模型在第一硬件上的评价指标值，确定满足预设条件的第一目标神经网络架构。如此，实现了不同初始子模型训练过程的解耦以及神经网络架构搜索过程和初始子模型训练过程的解耦，缩短了搜索时长，提高了搜索效率。

公开(公告)号：CN114819046A

公开(公告)日：2022-07-29

申请号：CN202110124725.1

申请日：2021-01-29

Applicant: 华为云计算技术有限公司

Inventor： 周卫民 ,  李亿 ,  戴宗宏

IPC: G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种神经网络的训练方法及其装置、计算机设备、存储介质，属于人工智能AI技术领域。该方法包括：获取训练数据集和待训练神经网络，其中，训练数据集中包括多个训练样本；利用训练数据集中的多个训练样本对待训练神经网络进行迭代训练，在迭代训练的过程中：获取第N次迭代过程中向待训练神经网络输入的训练样本，及待训练神经网络在第N次迭代过程中针对训练样本的输出结果，其中，N为正整数；基于第N次迭代过程中的训练样本和输出结果，确定第N次迭代过程中使用的动量系数；基于动量系数，在第N次迭代过程中对待训练神经网络的参数进行更新。本申请提高了对神经网络进行训练的训练效率。

公开(公告)号：CN118152505A

公开(公告)日：2024-06-07

申请号：CN202211520623.2

申请日：2022-11-30

Applicant: 华为云计算技术有限公司

Inventor： 梁志鹏 ,  周卫民 ,  李亿

IPC: G06F16/33 ,  G06F18/214

Abstract: 本申请实施例公开了一种数据处理方法和相关设备，用于为目标模型确定较优的参数量切分方法。在本申请中，首先获取第一查询表，第一查询表包括多个随机编码及其在目标模型在M个模型训练设备中的运行时长，多个随机编码中的任意一个表征M个模型训练设备对目标模型的参数量切分方式，M为正整数。接着，基于第一查询表进行机器学习，得到运行时长预测器，运行时长预测器用于基于输入的随机编码预测在目标模型中输出的运行时长。最后，以第一查询表为输入，以运行时长更短为目标，基于预设的进化算法对多个随机编码进行编码搜索，从而得到运行时长较短的目标随机编码，即确定了可以高效运行的M个模型训练设备对目标模型的参数量切分方式。

公开(公告)号：CN116415647A

公开(公告)日：2023-07-11

申请号：CN202111641483.X

申请日：2021-12-29

Applicant: 华为云计算技术有限公司

Inventor： 梁志鹏 ,  周卫民 ,  李亿 ,  戴宗宏

IPC: G06N3/086 ,  G06N3/0475 ,  G06N3/094

Abstract: 本申请提供了一种神经网络架构搜索的方法、装置、设备和存储介质，属于深度学习技术领域。该方法包括：接收优化请求，该优化请求包括待优化模型的模型文件和优化要求，优化要求包括性能要求和硬件要求，基于该模型文件，在搜索空间中进行神经架构搜索处理，获得满足优化要求的神经网络架构，返回该神经网络架构。采用本申请，能够使用模型文件进行神经架构搜索，不仅不需要使用公开数据集进行神经架构搜索，而且使得搜索到神经网络架构适合本地业务。

公开(公告)号：CN116090538A

公开(公告)日：2023-05-09

申请号：CN202111307019.7

申请日：2021-11-05

Applicant: 华为云计算技术有限公司

Inventor： 周卫民 ,  刘一峰 ,  李亿 ,  戴宗宏

IPC: G06N3/082

Abstract: 本申请提供了一种模型权重获取方法，包括：获取第一神经网络模型的结构信息，根据第一神经网络模型的结构信息，从存储有多组历史权重的权重库中搜索获得参考权重，参考权重为多组历史权重中与第一神经网络模型的结构相似的第二神经网络模型的权重，对参考权重进行转换，获得第一神经网络模型的权重。该方法通过搜索权重库中与待训练的神经网络模型的结构相似的神经网络模型的权重，并对该权重进行转换，从而获得待训练的神经网络模型可用的权重，无需从头开始进行模型训练，提高了模型训练效率。