公开(公告)号：CN117642753A

公开(公告)日：2024-03-01

申请号：CN202280036502.2

申请日：2022-04-28

Applicant: 微软技术许可有限责任公司

Inventor： 陈伟柱 ,  胡景峰 ,  谌叶龙 ,  王社安 ,  刘雅宾

IPC: G06N3/084 ,  G06N3/04

Abstract: 一种计算机实现的方法，针对多个神经网络层中的每个神经网络层，获得基于神经网络模型的基础模型权重矩阵。首先向对应的基础模型权重矩阵添加低秩分解矩阵，以形成第一域模型。该低秩分解矩阵被视为可训练参数。利用第一域特定训练数据训练该第一域模型而不修改基础模型权重矩阵。

公开(公告)号：CN116097281A

公开(公告)日：2023-05-09

申请号：CN202180051137.8

申请日：2021-05-13

Applicant: 微软技术许可有限责任公司

Inventor： 胡景峰 ,  杨格 ,  刘晓东 ,  高剑峰

IPC: G06N3/0985 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0499

Abstract: 提供了涉及调整与小神经网络模型相关联的超参数并将该超参数传递给大神经网络模型的系统和方法。至少一个神经网络模型可与针对一个或多个经调整的超参数的请求一起被接收。在缩放大神经网络之前，大神经网络根据参数化方案被参数化。然后大神经网络被缩放并且其尺寸被减小，使得超参数调整过程可被执行。然后经调整的超参数可被提供给请求方，使得该超参数可以直接输入到大神经网络中。通过使用小神经网络调整超参数，可以节省大量的计算周期和能量。