用于浮点数据、张量数据运算的运算器

    公开(公告)号:CN112416295B

    公开(公告)日:2024-02-02

    申请号:CN202011427161.0

    申请日:2020-12-09

    IPC分类号: G06F7/487

    摘要: 本发明公开了一种用于浮点数据、张量数据运算的运算器,其中用于张量数据运算的运算器包括两个输入张量数据及其共享E值和一个输出张量数据及其共享E值,其中,所述张量数据的每个数用EF16数据格式的S+F表示,其中S为EF16数据的符号值,F为EF16数据的小数值;所述张量数据的共享E值为EF16数据的指数值;所述EF16数据的数值表示公式为:(‑1)signbit×2(‑exp onent)×fraction,其中,signbit为符号值;exp onent为指数值;fraction为小数值。所述运算器在执行乘法、加法等运算时,两个输入张量数据的S+F部分和共享E值部分无需进行数据转换,即可分别执行相乘或相加,可以有效简化张量数据的运算,提高张量数据的计算效率。

    面向通用张量处理器的算子并行分割方法及系统

    公开(公告)号:CN117077744A

    公开(公告)日:2023-11-17

    申请号:CN202311052377.7

    申请日:2023-08-21

    摘要: 本发明提出了一种面向通用张量处理器的算子并行分割方法及系统,包括:计算获得算子输出形状;根据算子输出形状分别获取每个维度形状的因数集合;获取算子在TPU中运行时间最短的分割方案,分割方案为因数集合的元素组合,分割方案的总数为因数集合的大小乘积,运行时间的计算表达式为:运行时间=输入读取时间+权重读取时间+计算时间+输出写入时间,输入读取时间的计算以子算子输入大小作为变量,子算子输入大小通过分析神经网络的依赖关系获得;预设解空间阈值,若分割方案的总数不大于解空间阈值,采用枚举算法找出最优分割方案;若大于,则采用启发式算法找出最优分割方案。本发明能够实现基于TPU的神经网络算法自动并行化方案。

    用于神经网络张量处理器的稀疏数据解压缩装置及方法

    公开(公告)号:CN115936102A

    公开(公告)日:2023-04-07

    申请号:CN202211618647.1

    申请日:2022-12-15

    摘要: 本发明涉及神经网络张量处理器领域,公开了一种用于神经网络张量处理器的稀疏数据解压缩装置和方法。所述方法包括:读取解压缩操作的配置数据,并配置稀疏数据解压缩装置的各模块;根据配置信息,读取稀疏映射表:根据配置信息和稀疏映射表,读取稀疏压缩数据;解压缩,生成稀疏数据;写出稀疏数据。本发明提出的稀疏压缩数据把0维全部16个数据的值都为0的情况表达为可被解压缩填充的稀疏特征点,并通过稀疏映射表来发达稀疏特征点的分布情况。通过遍历稀疏映射表的方式可以直接识别稀疏特征点,通过在稀疏特征点填0并插入写出的方式,可以高效实现稀疏数据的解压缩,具有解压缩计算复杂性低、效率高的优点。

    一种数据流架构神经形态处理器
    4.
    发明公开

    公开(公告)号:CN115329941A

    公开(公告)日:2022-11-11

    申请号:CN202211042255.5

    申请日:2022-08-29

    IPC分类号: G06N3/04 G06N3/063

    摘要: 本发明公开了一种数据流架构神经形态处理器,包括控制单元、4D计算单元、1D计算单元、激活单元、数据类型转换单元、参数片上存储器、4D数据片上存储器和1D数据片上存储器;数据流架构神经形态处理器通过总线与片外存储器连接,控制单元从片外存储器中获取神经网络算法的配置信息,并根据配置信息对各模块进行配置,将数据流架构神经形态处理器的计算功能配置为某个算子功能;控制单元经过多次配置的切换,依次完成神经网络算法中不同算子的计算,从而实现某个神经网络算法的完整计算,并将最终的输出数据写入片外存储器。该处理器基于可重构数据流架构技术,可同时满足人工神经网络算法和脉冲神经网络算法的计算。

    一种神经形态计算装置
    5.
    发明公开

    公开(公告)号:CN114897152A

    公开(公告)日:2022-08-12

    申请号:CN202210498095.9

    申请日:2022-05-09

    IPC分类号: G06N3/063 G06N3/04

    摘要: 本发明涉及神经元计算领域,尤其涉及一种神经形态计算装置。所述装置包括神经元状态存储器、神经元互连存储器、控制器、物理神经元、外部神经元激励输入单元和外部神经元激活输出单元,通过神经元状态存储器保存神经网络系统中所有神经元的生物状态,通过神经元互连存储器保存神经网络系统中所有神经元的互连状态;所述装置以Δt时间间隔周期性工作,在Δt时间内,完成神经元状态存储器中所有神经元状态的更新:控制器读取神经元互连状态,依次配置物理神经元为对应虚拟神经元,物理神经元根据配置信息主动从状态存储器中获取数据,完成相应计算,并最终更新相应神经元的状态。本装置可以实现灵活、通用和任意规模神经网络的计算。

    一种用于神经网络张量处理器的4D计算装置

    公开(公告)号:CN113642713A

    公开(公告)日:2021-11-12

    申请号:CN202110955122.6

    申请日:2021-08-19

    IPC分类号: G06N3/04 G06N3/063

    摘要: 本发明公开了一种神经网络张量处理器的4D计算装置,包括片上存储单元、dat数据流处理单元、wt数据流处理单元、两个MAC计算阵列单元和两个累加单元;其中,片上存储单元用于保存4D计算装置计算所需的dat数据和wt数据;dat数据流处理单元用于接收来自所述片上存储单元的dat数据,并根据不同的计算模式整合该dat数据,最终形成后续计算所需的dat数据,并发送给两个MAC计算阵列单元;wt数据流处理单元用于接收来自所述片上存储单元的wt数据,并根据不同的计算模式整合该wt数据,最终形成后续计算所需的wt数据,并发送给两个MAC计算阵列单元;累加单元用于实现MAC计算阵列单元计算结果的累加操作,并将累加后的计算结果进行缓存、输出,用于后续计算。

    一种神经网络张量处理器

    公开(公告)号:CN112381220A

    公开(公告)日:2021-02-19

    申请号:CN202011421828.6

    申请日:2020-12-08

    IPC分类号: G06N3/063

    摘要: 本发明公开了一种神经网络张量处理器,包括主控制器、重构控制器和数据流计算引擎;主控制器用于向外部控制单元提供所述神经网络张量处理器的控制和状态接口,及提供第一配置信息和第一起始信号给重构控制器;重构控制器接收第一配置信息和第一起始信号,在第一起始信号有效后,获取外部存储器的重构指令,并解析重构指令生成第二配置信息和第二起始信号;数据流计算引擎接收第二配置信息和第二起始信号,根据第二配置信息进行功能配置,在第二起始信号有效后,获取外部存储器的数据和参数以执行运算,并将计算结果写入外部存储器中。本发明的张量处理器适用于对神经网络算法进行集中化计算,具备通用性和可扩展性。

    一种数据流水线处理器系统
    8.
    发明公开

    公开(公告)号:CN112052042A

    公开(公告)日:2020-12-08

    申请号:CN202010967991.6

    申请日:2020-09-15

    IPC分类号: G06F9/38 G06N3/02

    摘要: 本发明涉及人工智能计算领域,更具体地,涉及一种数据流水线处理器系统,用于提高单位时钟周期内数据处理量以及计算资源的利用率从而提高计算效率。所述的数据流水线处理器系统包括至少两个数据流水线计算路径、参数路径、数据路径、配置控制器;所述数据路径以及参数路径为至少两个数据流水线计算路径分别提供数据和参数;至少两个数据流水线计算路径对数据路径以及参数路径分别提供的数据和参数进行运算后,输出最终计算结果;配置控制器与参数路径、数据路径以及数据流水线计算路径连接,用于获取配置信息后对树状参数路径、线性参数路径以及非线性参数路径、数据路径以及数据流水线计算路径进行配置。

    一种神经元计算方法
    9.
    发明授权

    公开(公告)号:CN114819115B

    公开(公告)日:2024-11-05

    申请号:CN202210498960.X

    申请日:2022-05-09

    IPC分类号: G06N3/06 G06N3/0464 G06N3/049

    摘要: 本发明涉及神经元计算领域,尤其涉及一种神经元计算方法。所述方法是指神经元在时间间隔t内,对多个输入神经元膜电位Vin(t1)和输入神经元脉冲Pin(t1)进行计算,更新神经元状态,并发送输出神经元膜电位Vout(t2)和输出神经元脉冲Pout(t2);时间间隔t的单位时间是Δt;时间间隔的起始时刻被记为t1=n1*Δt,终止时刻被记为t2=n2*Δt;时间间隔t=n*Δt,n=n2‑n1;包括以下步骤:t1时刻,获取输入数据;时间间隔t内,对输入数据执行整合或抑制运算;时间间隔t内,执行膜电位累加运算;时间间隔t内,执行膜电位激活运算;t2时刻,更新神经元状态并输出数据。本发明的神经元计算方法具备更好的通用性,从而实现更通用的神经网络计算系统。

    一种数据流水线处理器系统

    公开(公告)号:CN112052042B

    公开(公告)日:2023-08-15

    申请号:CN202010967991.6

    申请日:2020-09-15

    IPC分类号: G06F9/38 G06N3/02

    摘要: 本发明涉及人工智能计算领域,更具体地,涉及一种数据流水线处理器系统,用于提高单位时钟周期内数据处理量以及计算资源的利用率从而提高计算效率。所述的数据流水线处理器系统包括至少两个数据流水线计算路径、参数路径、数据路径、配置控制器;所述数据路径以及参数路径为至少两个数据流水线计算路径分别提供数据和参数;至少两个数据流水线计算路径对数据路径以及参数路径分别提供的数据和参数进行运算后,输出最终计算结果;配置控制器与参数路径、数据路径以及数据流水线计算路径连接,用于获取配置信息后对树状参数路径、线性参数路径以及非线性参数路径、数据路径以及数据流水线计算路径进行配置。