模型训练方法、装置、电子设备和计算机可读存储介质

    公开(公告)号:CN112631775B

    公开(公告)日:2024-06-18

    申请号:CN202011552010.8

    申请日:2020-12-24

    摘要: 本公开公开了模型训练方法、装置、电子设备和计算机可读存储介质,涉及人工智能领域,尤其涉及深度学习领域和人工智能芯片领域。具体实现方案为:通过一个计算单元对一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作,以基于第一反向计算操作确定第一计算结果和模型的第一梯度;至少基于第一梯度,确定第一同步梯度;基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作,以基于所述第二反向计算操作至少确定所述模型的第二梯度;至少基于第二梯度,确定第二同步梯度;以及至少基于第一同步梯度和第二同步梯度更新模型的参数。以此方式,实现了高效准确的并行训练。

    深度学习处理装置、方法、设备和存储介质

    公开(公告)号:CN113222101A

    公开(公告)日:2021-08-06

    申请号:CN202010080940.1

    申请日:2020-02-05

    IPC分类号: G06N3/04 G06N3/08 G06N20/00

    摘要: 本公开的实施例提出了深度学习处理装置、方法、设备和存储介质,涉及人工智能领域。一种深度学习处理装置包括至少一个矩阵乘加模块,被配置为执行卷积神经网络中的卷积层的卷积核参数值矩阵与第一误差梯度值矩阵的矩阵乘加运算,得到多个中间矩阵;存储装置,用于存储多个中间矩阵而无需对多个中间矩阵中的元素进行重新整形;以及多个矩阵累加模块,被配置为从存储装置读取多个中间矩阵并且以并行方式按卷积层的卷积方案执行基于多个中间矩阵的矩阵累加运算,得到针对卷积层的第二误差梯度值矩阵。这样的深度学习处理装置可以显著提高卷积反向操作的计算效率,在计算速度和耗能方面均能得到改进。

    业务调度方法、装置和系统

    公开(公告)号:CN106209682B

    公开(公告)日:2019-04-30

    申请号:CN201610539215.X

    申请日:2016-07-08

    发明人: 王勇 欧阳剑 漆维

    IPC分类号: H04L12/863

    摘要: 本申请公开了业务调度方法、装置和系统。所述方法的一具体实施方式包括:监测等待队列中是否存在业务请求,其中等待队列用于存储待执行的业务请求;响应于确定等待队列中存在业务请求,交换运行队列和等待队列,其中运行队列用于存储当前执行的业务请求;将交换后的运行队列中的业务请求合并后生成待处理请求集合并发送至业务处理接口,以通过业务处理接口对待处理请求集合进行批量处理;在待处理请求集合中的业务请求处理完毕后,清空交换后的运行队列。该实施方式能够根据业务需求和硬件处理能力自适应调整批处理数量,提升了业务处理效率。

    数据处理方法和装置
    5.
    发明授权

    公开(公告)号:CN105893159B

    公开(公告)日:2018-06-19

    申请号:CN201610454483.1

    申请日:2016-06-21

    发明人: 欧阳剑 漆维 王勇

    IPC分类号: G06F9/50

    摘要: 本申请公开了数据处理方法和装置。所述方法的一具体实施方式包括:对接收到的待处理输入数据进行预处理;根据预处理的结果以及通过线性拟合激活函数得到的结果获得所述待处理输入数据的配置参数的存储地址,其中,配置参数是根据激活函数的曲线特性预先设置的;根据所述存储地址获取所述待处理输入数据的配置参数;根据所述待处理输入数据的配置参数以及预先设定的电路结构对所述待处理输入数据的预处理结果进行处理,得到处理结果。该实施方式实现了使用配置参数和预先设定的电路结构实现对待处理输入数据的处理,不需要使用用于实现激活函数的专用电路,从而简化了电路结构,且同时可以支持多种激活函数,提高了灵活性。

    业务调度方法、装置和系统

    公开(公告)号:CN106209682A

    公开(公告)日:2016-12-07

    申请号:CN201610539215.X

    申请日:2016-07-08

    发明人: 王勇 欧阳剑 漆维

    IPC分类号: H04L12/863

    CPC分类号: H04L47/62

    摘要: 本申请公开了业务调度方法、装置和系统。所述方法的一具体实施方式包括:监测等待队列中是否存在业务请求,其中等待队列用于存储待执行的业务请求;响应于确定等待队列中存在业务请求,交换运行队列和等待队列,其中运行队列用于存储当前执行的业务请求;将交换后的运行队列中的业务请求合并后生成待处理请求集合并发送至业务处理接口,以通过业务处理接口对待处理请求集合进行批量处理;在待处理请求集合中的业务请求处理完毕后,清空交换后的运行队列。该实施方式能够根据业务需求和硬件处理能力自适应调整批处理数量,提升了业务处理效率。

    模型训练方法、装置、电子设备和计算机可读存储介质

    公开(公告)号:CN112631775A

    公开(公告)日:2021-04-09

    申请号:CN202011552010.8

    申请日:2020-12-24

    IPC分类号: G06F9/50 G06N3/08 G06N3/10

    摘要: 本公开公开了模型训练方法、装置、电子设备和计算机可读存储介质,涉及人工智能领域,尤其涉及深度学习领域和人工智能芯片领域。具体实现方案为:通过一个计算单元对一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作,以基于第一反向计算操作确定第一计算结果和模型的第一梯度;至少基于第一梯度,确定第一同步梯度;基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作,以基于所述第二反向计算操作至少确定所述模型的第二梯度;至少基于第二梯度,确定第二同步梯度;以及至少基于第一同步梯度和第二同步梯度更新模型的参数。以此方式,实现了高效准确的并行训练。

    处理器以及用于在处理器上执行指令的方法

    公开(公告)号:CN107678781B

    公开(公告)日:2021-02-26

    申请号:CN201610621990.X

    申请日:2016-08-01

    发明人: 漆维 欧阳剑 王勇

    IPC分类号: G06F9/38 G06F9/30 G06F9/50

    摘要: 本申请公开了处理器以及用于在处理器上执行指令的方法。所述处理器的一具体实施方式包括:主机交互器件、指令控制器件、片外存储器、片上缓存、阵列处理机,其中:所述主机交互器件,用于与所述处理器所连接的主机交互数据与指令,其中,所交互的数据以矩阵为粒度;所述片外存储器,用于存储从所述主机接收的、待执行矩阵运算的矩阵;所述指令控制器件,用于将从所述主机接收的外部指令转换成一系列访存指令与一系列计算指令并执行所转换成的指令。该实施方式能提高对深度学习算法的执行效率。

    由计算设备执行的方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN112286578A

    公开(公告)日:2021-01-29

    申请号:CN201910677739.9

    申请日:2019-07-25

    IPC分类号: G06F9/30 G06F9/38 G06F15/80

    摘要: 根据本公开的实施例,提供了一种由计算设备执行的配置向量运算的方法、装置、设备和存储介质。该方法包括获取指示至少一个可配置向量运算参数的信息,至少一个可配置向量运算参数的信息指示可配置向量运算参数的类型和取值;以及基于可配置向量运算参数的类型和取值,配置多个向量运算单元,以使得多个向量运算单元中的每一个向量运算单元能够执行根据可配置向量运算参数的类型和取值定义的、由两个或更多基本向量运算组成的目标向量运算。该方法能够使得计算支持复杂的向量运算的同时,实现了在单个硬件上运行多个向量运算格式,实现了向量运算格式的灵活设计。