一种神经网络张量处理器的数据流高速缓存

    公开(公告)号:CN112860596A

    公开(公告)日:2021-05-28

    申请号:CN202110167464.1

    申请日:2021-02-07

    摘要: 本发明公开了一种神经网络张量处理器的数据流高速缓存,包括数据地址映射模块、数据地址生成模块、特征数据SRAM存储器和参数数据SRAM存储器;数据流高速缓存外部连接一个大容量的片外存储器和一个神经网络计算模块,片外存储器保存所有的特征数据和参数数据,数据流高速缓存用于根据神经网络计算模块正在计算的输出张量的行地址,通过数据地址生成模块、数据地址映射模块生成的特征地址和参数地址,预取对应的特征数据和参数数据并缓存在小容量的特征数据SRAM存储器和参数数据SRAM存储器中。数据流高速缓存的一次索引可以输出计算1行输出特征张量所需的大量数据(如几百个字节),在数据流计算架构下,数据流高速缓存拥有较高的存储效率。

    一种神经网络多核张量处理器
    32.
    发明公开

    公开(公告)号:CN112580792A

    公开(公告)日:2021-03-30

    申请号:CN202011423696.0

    申请日:2020-12-08

    IPC分类号: G06N3/063 G06N3/04

    摘要: 本发明公开了一种神经网络多核张量处理器,包括主控制器、重构控制器和多个数据流计算引擎;主控制器用于向外部控制单元提供所述神经网络张量处理器的控制和状态接口,及提供第一配置信息和第一起始信号给重构控制器;重构控制器接收第一配置信息和第一起始信号,在第一起始信号有效后,获取外部存储器的重构指令,并解析重构指令生成多组第二配置信息和第二起始信号;各数据流计算引擎分别接收对应的第二配置信息和第二起始信号,根据第二配置信息进行功能配置,在第二起始信号有效后,获取外部存储器的数据和参数以执行运算,并将计算结果写入外部存储器。本发明的多核张量处理器适用于对神经网络算法进行集中化计算,具备通用性和可扩展性。

    一种数据流水线计算路径结构及单线程数据流水线系统

    公开(公告)号:CN112051981A

    公开(公告)日:2020-12-08

    申请号:CN202010969599.5

    申请日:2020-09-15

    IPC分类号: G06F7/52 G06F7/50 G06N3/02

    摘要: 本发明涉及人工智能技术领域,更具体地,涉及一种数据流水线计算路径结构及单线程数据流水线系统。所述数据流水线计算路径结构包括顺次连接的树状结构的乘法累加单元、线性结构的乘法累加单元、非线性结构的乘法累加单元;树状结构的乘法累加单元、线性结构的乘法累加单元、非线性结构的乘法累加单元接收所需处理的数据与参数并对其进行处理后流出数据流水线计算路径结构,得到处理后的最终数据。所述数据流水线计算路径结构是一种通用的数据流水线计算架构,能够更高效地进行人工智能领域的计算。

    用于浮点数据、张量数据运算的运算器

    公开(公告)号:CN112416295B

    公开(公告)日:2024-02-02

    申请号:CN202011427161.0

    申请日:2020-12-09

    IPC分类号: G06F7/487

    摘要: 本发明公开了一种用于浮点数据、张量数据运算的运算器,其中用于张量数据运算的运算器包括两个输入张量数据及其共享E值和一个输出张量数据及其共享E值,其中,所述张量数据的每个数用EF16数据格式的S+F表示,其中S为EF16数据的符号值,F为EF16数据的小数值;所述张量数据的共享E值为EF16数据的指数值;所述EF16数据的数值表示公式为:(‑1)signbit×2(‑exp onent)×fraction,其中,signbit为符号值;exp onent为指数值;fraction为小数值。所述运算器在执行乘法、加法等运算时,两个输入张量数据的S+F部分和共享E值部分无需进行数据转换,即可分别执行相乘或相加,可以有效简化张量数据的运算,提高张量数据的计算效率。

    面向通用张量处理器的算子并行分割方法及系统

    公开(公告)号:CN117077744A

    公开(公告)日:2023-11-17

    申请号:CN202311052377.7

    申请日:2023-08-21

    摘要: 本发明提出了一种面向通用张量处理器的算子并行分割方法及系统,包括:计算获得算子输出形状;根据算子输出形状分别获取每个维度形状的因数集合;获取算子在TPU中运行时间最短的分割方案,分割方案为因数集合的元素组合,分割方案的总数为因数集合的大小乘积,运行时间的计算表达式为:运行时间=输入读取时间+权重读取时间+计算时间+输出写入时间,输入读取时间的计算以子算子输入大小作为变量,子算子输入大小通过分析神经网络的依赖关系获得;预设解空间阈值,若分割方案的总数不大于解空间阈值,采用枚举算法找出最优分割方案;若大于,则采用启发式算法找出最优分割方案。本发明能够实现基于TPU的神经网络算法自动并行化方案。

    用于神经网络张量处理器的稀疏数据解压缩装置及方法

    公开(公告)号:CN115936102A

    公开(公告)日:2023-04-07

    申请号:CN202211618647.1

    申请日:2022-12-15

    摘要: 本发明涉及神经网络张量处理器领域,公开了一种用于神经网络张量处理器的稀疏数据解压缩装置和方法。所述方法包括:读取解压缩操作的配置数据,并配置稀疏数据解压缩装置的各模块;根据配置信息,读取稀疏映射表:根据配置信息和稀疏映射表,读取稀疏压缩数据;解压缩,生成稀疏数据;写出稀疏数据。本发明提出的稀疏压缩数据把0维全部16个数据的值都为0的情况表达为可被解压缩填充的稀疏特征点,并通过稀疏映射表来发达稀疏特征点的分布情况。通过遍历稀疏映射表的方式可以直接识别稀疏特征点,通过在稀疏特征点填0并插入写出的方式,可以高效实现稀疏数据的解压缩,具有解压缩计算复杂性低、效率高的优点。

    一种数据流架构神经形态处理器
    38.
    发明公开

    公开(公告)号:CN115329941A

    公开(公告)日:2022-11-11

    申请号:CN202211042255.5

    申请日:2022-08-29

    IPC分类号: G06N3/04 G06N3/063

    摘要: 本发明公开了一种数据流架构神经形态处理器,包括控制单元、4D计算单元、1D计算单元、激活单元、数据类型转换单元、参数片上存储器、4D数据片上存储器和1D数据片上存储器;数据流架构神经形态处理器通过总线与片外存储器连接,控制单元从片外存储器中获取神经网络算法的配置信息,并根据配置信息对各模块进行配置,将数据流架构神经形态处理器的计算功能配置为某个算子功能;控制单元经过多次配置的切换,依次完成神经网络算法中不同算子的计算,从而实现某个神经网络算法的完整计算,并将最终的输出数据写入片外存储器。该处理器基于可重构数据流架构技术,可同时满足人工神经网络算法和脉冲神经网络算法的计算。

    一种神经形态计算装置
    39.
    发明公开

    公开(公告)号:CN114897152A

    公开(公告)日:2022-08-12

    申请号:CN202210498095.9

    申请日:2022-05-09

    IPC分类号: G06N3/063 G06N3/04

    摘要: 本发明涉及神经元计算领域,尤其涉及一种神经形态计算装置。所述装置包括神经元状态存储器、神经元互连存储器、控制器、物理神经元、外部神经元激励输入单元和外部神经元激活输出单元,通过神经元状态存储器保存神经网络系统中所有神经元的生物状态,通过神经元互连存储器保存神经网络系统中所有神经元的互连状态;所述装置以Δt时间间隔周期性工作,在Δt时间内,完成神经元状态存储器中所有神经元状态的更新:控制器读取神经元互连状态,依次配置物理神经元为对应虚拟神经元,物理神经元根据配置信息主动从状态存储器中获取数据,完成相应计算,并最终更新相应神经元的状态。本装置可以实现灵活、通用和任意规模神经网络的计算。

    一种用于神经网络张量处理器的4D计算装置

    公开(公告)号:CN113642713A

    公开(公告)日:2021-11-12

    申请号:CN202110955122.6

    申请日:2021-08-19

    IPC分类号: G06N3/04 G06N3/063

    摘要: 本发明公开了一种神经网络张量处理器的4D计算装置,包括片上存储单元、dat数据流处理单元、wt数据流处理单元、两个MAC计算阵列单元和两个累加单元;其中,片上存储单元用于保存4D计算装置计算所需的dat数据和wt数据;dat数据流处理单元用于接收来自所述片上存储单元的dat数据,并根据不同的计算模式整合该dat数据,最终形成后续计算所需的dat数据,并发送给两个MAC计算阵列单元;wt数据流处理单元用于接收来自所述片上存储单元的wt数据,并根据不同的计算模式整合该wt数据,最终形成后续计算所需的wt数据,并发送给两个MAC计算阵列单元;累加单元用于实现MAC计算阵列单元计算结果的累加操作,并将累加后的计算结果进行缓存、输出,用于后续计算。