公开(公告)号：CN111357019B

公开(公告)日：2023-12-29

申请号：CN201880074735.5

申请日：2018-11-30

Applicant: 国际商业机器公司

Inventor： 崔正旭 ,  P·纳拉亚南 ,  陈家佑 ,  K·戈帕拉克里希南 ,  S·古普塔

IPC: G06N3/082

Abstract: 一种系统，具有存储计算机可执行组件的存储器以及执行计算机可执行组件的处理器，该系统通过利用权重矩阵的空间局部性并实现频率变换和压缩来减少与训练神经网络有关的数据大小。接收组件接收以压缩的频域权重矩阵形式的神经网络数据。分割组件将初始权重矩阵分割成原始子分量，其中相应的原始子分量具有空间权重。采样组件将广义权重分布应用于相应的原始子分量以生成相应的归一化子分量。变换组件对相应的归一化子分量应用变换。裁剪组件裁剪经变换的相应的归一化子分量的高频权重以产生低频归一化子分量的集合，以生成原始子分量的压缩表示。

公开(公告)号：CN110457068A

公开(公告)日：2019-11-15

申请号：CN201910352202.5

申请日：2019-04-29

Applicant: 国际商业机器公司

Inventor： 王乃刚 ,  K·高帕拉克里斯南 ,  崔正旭 ,  S·M·穆尔乐 ,  A·安哥拉瓦尔 ,  D·布兰德

IPC: G06F9/30 ,  G06F7/483

Abstract: 本公开涉及用于深度学习加速的非常低精度浮点表示。一种专用电路被配置为使用由非常低精度格式(VLP格式)表示的数字进行浮点计算。VLP格式包括少于十六位并且分配为符号位、指数位(e)和尾数位(p)。经配置的专用电路被操作以存储VLP格式的数值的近似，其中该近似被表示为分数的倍数的函数，其中分数是能够仅使用尾数位表示的离散值的数量的倒数。

公开(公告)号：CN111435461B

公开(公告)日：2023-08-11

申请号：CN202010020033.8

申请日：2020-01-09

Applicant: 国际商业机器公司

Inventor： 陈家佑 ,  陈品谕 ,  莊逸仁 ,  陈均富 ,  崔正旭 ,  K·高帕拉克里斯南

IPC: G06N3/063 ,  G06N3/0475 ,  G06N3/094

Abstract: 本申请涉及使用降低精度的深度神经网络的对抗性输入识别。处理器接收输入数据，并将输入数据提供给包括第一神经网络模型的第一神经网络。第一神经网络模型具有第一数值精度水平。使用第一神经网络从输入数据生成第一特征向量。将输入数据提供给包括第二神经网络模型的第二神经网络。第二神经网络模型具有与第一数值精度水平不同的第二数值精度水平。使用第二神经网络从输入数据生成第二特征向量。计算第一特征向量和第二特征向量之间的差异度量。差异度量指示输入数据是否包括对抗性数据。

公开(公告)号：CN114207625A

公开(公告)日：2022-03-18

申请号：CN202080055389.3

申请日：2020-07-17

Applicant: 国际商业机器公司

Inventor： 崔正旭 ,  S.文卡塔拉马尼 ,  V.斯里尼瓦桑 ,  K.戈帕拉克里什南

IPC: G06K9/62

Abstract: 一种卷积神经网络包括前层、后层以及连接在前层和后层之间的多个其它层。其它层中的一层是过渡层。向从前层回到过渡层的神经元的激活分配第一精度，并向从过渡层回到后层的神经元的激活分配第二精度。向从前层回到过渡层的神经元的输入的权重分配第三精度，以及向从过渡层回到后层的神经元的输入的权重分配第四精度。在一些实施例中，过渡层前面的层具有与过渡层后面的层不同的卷积核。

公开(公告)号：CN112119407A

公开(公告)日：2020-12-22

申请号：CN201980032566.3

申请日：2019-06-13

Applicant: 国际商业机器公司

Inventor： S·文卡塔拉马尼 ,  S·杰恩 ,  V·斯里尼瓦桑 ,  崔正旭 ,  张立伦

IPC: G06N3/02

Abstract: 提供了一种补偿的深度神经网络(补偿‑DNN)。接收具有一组分量的第一矢量和具有一组相应分量的第二矢量。第一矢量的分量包括第一量化值和第一补偿指令，第二矢量的对应分量包括第二量化值和第二补偿指令。将第一量化值乘以第二量化值以计算原始乘积值。根据第一和第二补偿指令对原始乘积值补偿量化误差以产生补偿乘积值。将补偿的乘积值加到点积的累加值中。将累加值转换为点积的输出向量。输出向量包括输出量化值和输出补偿指令。

公开(公告)号：CN111538532A

公开(公告)日：2020-08-14

申请号：CN202010040575.1

申请日：2020-01-15

Applicant: 国际商业机器公司

Inventor： 王乃刚 ,  崔正旭 ,  K.戈帕拉克里什南 ,  A.阿格拉瓦尔 ,  S.M.米勒

IPC: G06F9/30 ,  G06N3/04 ,  G06N3/08

Abstract: 在一个实施例中，一种方法包括使用由混合格式表示的数来配置用于浮点计算的专用电路，其中混合格式包括第一格式和第二格式。在该实施例中，该方法包括操作进一步配置的专用电路，以在用于训练深度学习网络的正向传递期间以第一格式存储数值近似值。在该实施例中，该方法包括操作进一步配置的专用电路，以在用于训练深度学习网络的反向传递期间以第二格式存储第二数值近似值。

公开(公告)号：CN110598838B

公开(公告)日：2024-01-19

申请号：CN201910509429.6

申请日：2019-06-13

Applicant: 国际商业机器公司

Inventor： Z.王 ,  崔正旭 ,  K.戈帕拉克里什南 ,  庄逸仁

IPC: G06N3/02 ,  G06N3/08

Abstract: 呈现了用于统计感知权重量化的技术。为了促进降低权重的比特精度，对于权重集，量化器管理组件可以根据权重的权重值的平方的平均值和该权重值的绝对值的平均值的线性或非线性函数来估计量化标度值以应用于权重，其中量化标度值被确定为具有比与其它量化标度值相关联的所有或至少几乎所有其它量化误差更小的量化误差。量化器组件应用量化标度值以对称和/或均匀地量化权重集的层的权重，从而生成量化的权重，权重使用舍入来量化。相应的量化的权重可以用于促进深度学习系统的训练和推理。

公开(公告)号：CN111538532B

公开(公告)日：2023-07-07

申请号：CN202010040575.1

申请日：2020-01-15

Applicant: 国际商业机器公司

Inventor： 王乃刚 ,  崔正旭 ,  K.戈帕拉克里什南 ,  A.阿格拉瓦尔 ,  S.M.米勒

IPC: G06F9/30 ,  G06N3/0464 ,  G06N3/084

Abstract: 在一个实施例中，一种方法包括使用由混合格式表示的数来配置用于浮点计算的专用电路，其中混合格式包括第一格式和第二格式。在该实施例中，该方法包括操作进一步配置的专用电路，以在用于训练深度学习网络的正向传递期间以第一格式存储数值近似值。在该实施例中，该方法包括操作进一步配置的专用电路，以在用于训练深度学习网络的反向传递期间以第二格式存储第二数值近似值。

公开(公告)号：CN110457068B

公开(公告)日：2023-03-14

申请号：CN201910352202.5

申请日：2019-04-29

Applicant: 国际商业机器公司

Inventor： 王乃刚 ,  K·高帕拉克里斯南 ,  崔正旭 ,  S·M·穆尔乐 ,  A·安哥拉瓦尔 ,  D·布兰德

IPC: G06F9/30 ,  G06F7/483

Abstract: 本公开涉及用于深度学习加速的非常低精度浮点表示。一种专用电路被配置为使用由非常低精度格式(VLP格式)表示的数字进行浮点计算。VLP格式包括少于十六位并且分配为符号位、指数位(e)和尾数位(p)。经配置的专用电路被操作以存储VLP格式的数值的近似，其中该近似被表示为分数的倍数的函数，其中分数是能够仅使用尾数位表示的离散值的数量的倒数。

公开(公告)号：CN111435461A

公开(公告)日：2020-07-21

申请号：CN202010020033.8

申请日：2020-01-09

Applicant: 国际商业机器公司

Inventor： 陈家佑 ,  陈品谕 ,  莊逸仁 ,  陈均富 ,  崔正旭 ,  K·高帕拉克里斯南

IPC: G06N3/063

Abstract: 本申请涉及使用降低精度的深度神经网络的对抗性输入识别。处理器接收输入数据，并将输入数据提供给包括第一神经网络模型的第一神经网络。第一神经网络模型具有第一数值精度水平。使用第一神经网络从输入数据生成第一特征向量。将输入数据提供给包括第二神经网络模型的第二神经网络。第二神经网络模型具有与第一数值精度水平不同的第二数值精度水平。使用第二神经网络从输入数据生成第二特征向量。计算第一特征向量和第二特征向量之间的差异度量。差异度量指示输入数据是否包括对抗性数据。