基于人工神经网络数据局部性的人工神经网络存储器系统

    公开(公告)号:CN114444673A

    公开(公告)日:2022-05-06

    申请号:CN202111291378.8

    申请日:2021-11-01

    发明人: 金錄元

    IPC分类号: G06N3/063 G06N3/04 G06N3/08

    摘要: 一种人工神经网络(ANN)的存储器系统包括:处理器,其用于处理人工神经网络模型;以及ANN存储器控制器,其被配置为控制存储在存储器中的ANN模型的数据的重新排列并且基于ANN模型的ANN数据局部性信息以读取突发模式操作存储在存储器中的ANN模型的数据。ANN存储器控制器可以接收预先生成的ANN数据局部性信息,或者处理器可以按顺序生成多个数据访问请求,使得ANN存储器控制器可以通过监控多个数据访问请求来生成ANN数据局部性信息。ANN存储器控制器基于人工神经网络数据局部性在接收来自处理器的请求之前准备数据,以减少存储器向处理器提供数据的延迟。

    基于人工神经网络的数据位置用数据缓存支持高速人工神经网络操作的数据管理设备

    公开(公告)号:CN113316794B

    公开(公告)日:2024-09-03

    申请号:CN202080007589.1

    申请日:2020-06-04

    发明人: 金錄元

    IPC分类号: G06N3/063 G06N3/08 G06N3/0464

    摘要: 公开了一种数据缓存或数据管理设备,其用于在至少一个处理器和至少一个存储器之间高速缓存数据,并且支持由至少一个处理器执行的人工神经网络(ANN)操作。数据高速缓存设备或数据管理设备可以包括内部控制器,该内部控制器用于基于ANN操作的ANN数据局部性来预测下一数据操作请求。内部控制器从在至少一个处理器和至少一个存储器之间实际做出的数据操作请求中监视与ANN操作相关联的数据操作请求,从而提取ANN操作的ANN数据局部性。

    能够切换ANN模型的神经处理单元及其操作方法

    公开(公告)号:CN118228786A

    公开(公告)日:2024-06-21

    申请号:CN202310870890.0

    申请日:2023-07-14

    摘要: 本申请涉及能够切换ANN模型的神经处理单元及其操作方法。根据本公开,提供了一种安装在可移动装置上的用于检测物体的神经处理单元NPU。NPU可以包括多个处理元件PE,其被配置为处理第一人工神经网络模型ANN的操作和不同于第一ANN的第二ANN的操作;存储器,其被配置为存储第一ANN和第二ANN的数据的一部分;以及控制器,其被配置为控制PE和存储器以基于确定数据选择性地执行第一ANN或第二ANN的卷积运算,其中确定数据可以分别包括第一ANN和第二ANN的物体检测性能数据。

    NPU、边缘设备及其运行方法
    5.
    发明公开

    公开(公告)号:CN115204375A

    公开(公告)日:2022-10-18

    申请号:CN202111311760.0

    申请日:2021-11-08

    发明人: 金錄元

    IPC分类号: G06N3/063 G06N3/04 G06N3/08

    摘要: 一种神经处理单元(NPU)包括:内部存储器,其用于存储关于多个人工神经网络(ANN)模型的组合的信息,所述多个ANN模型包括第一ANN模型和第二ANN模型;多个处理元件(PE),其用于依次或并行处理所述多个ANN模型的第一操作和第二操作,所述多个PE包括第一组PE和第二组PE;以及调度器,其用于基于与关于所述多个ANN模型的操作次序相关的信息的指令或者进一步基于ANN数据局部性信息,将所述第一ANN模型的所述第一操作的一部分分配给所述第一组PE,并且将所述第二ANN模型的所述第二操作的一部分分配给所述第二组PE。所述第一操作和所述第二操作可以是并行或分时执行的。

    能够检测系统部件故障的系统及其方法

    公开(公告)号:CN114689961A

    公开(公告)日:2022-07-01

    申请号:CN202111674411.5

    申请日:2021-12-31

    发明人: 金錄元

    摘要: 提出了一种系统,其能够在运行时间期间测试所述系统中的部件。所述系统可以包括:基板;多个功能部件,所述多个功能部件被安装在所述基板上并且包括电路;系统总线,其利用导电图案在所述基板上形成,从而允许所述多个功能部件相互通信;一个或多个包装器,所述一个或多个包装器中的每一个连接到所述多个功能部件中的一个上;以及系统内部件测试器(ICT),其被配置为:选择所述多个功能部件中的处于空闲状态的至少一个功能部件作为待测部件(CUT);以及通过所述一个或多个测试包装器测试被选择作为所述CUT的所述至少一个功能部件。

    用于人工神经网络的比特量化的方法和系统

    公开(公告)号:CN113396427A

    公开(公告)日:2021-09-14

    申请号:CN202080008330.9

    申请日:2020-02-21

    发明人: 金錄元

    IPC分类号: G06N3/08 G06N3/04

    摘要: 本公开提供了一种人工神经网络的比特量化方法。所述方法可以包括:(a)在人工神经网络中选择待量化的一个参数或一个参数组;(b)比特量化以将所选参数或参数组的数据表示的大小减小到比特单位;(c)确定所述人工神经网络的精度是否等于或大于预定目标值;(d)当所述人工神经网络的精度等于或大于所述目标值时,重复步骤(a)至(c)。

    为人工神经网络实现的以处理从异构传感器接收到的异构数据的融合的NPU

    公开(公告)号:CN115358377A

    公开(公告)日:2022-11-18

    申请号:CN202210452060.1

    申请日:2022-04-27

    发明人: 金錄元

    摘要: 一种神经处理单元(NPU)包括控制器,该控制器包括调度器,该控制器被配置为从编译器接收包括融合ANN的人工神经网络(ANN)的机器代码,该机器代码包括融合ANN的数据局部性信息,并且该控制器被配置为接收来自与融合人工神经网络对应的多个传感器的异构传感器数据;被配置为执行包括卷积操作和至少一个特殊功能操作的融合ANN的融合操作的至少一个处理元件;特殊功能单元(SFU),其被配置为执行融合ANN的特殊功能操作;以及片上存储器,其被配置成存储融合ANN的操作数据,其中所述调度器被配置为控制至少处理元件和片上存储器,使得融合ANN的所有操作根据数据局部性信息以预定序列进行处理。