面向混合精度神经网络的存内计算单元设计方法和系统

    公开(公告)号:CN118278477B

    公开(公告)日:2024-10-01

    申请号:CN202410376716.5

    申请日:2024-03-29

    摘要: 本发明提供了一种面向混合精度神经网络的存内计算单元设计方法和系统,包括:步骤1:对现有的二值分割算法进行硬件上的混合精度乘积累加计算适配,得到改进后混合精度矢量乘积累加计算方法;步骤2:采用双模式可重构乘法单元,解决改进后混合精度矢量乘积累加计算方法所需的大位宽乘法器问题,得到改进后混合精度矢量乘积累加计算方法的硬件单元设计;步骤3:运用轻量级接口设计,结合双模式可重构乘法单元,根据改进后混合精度矢量乘积累加计算方法,完善乘法前操作元的预处理和乘法后结果的后处理硬件设计。本发明旨在提出一个存内计算电路模块,为经过混合精度量化压缩后的边缘端神经网络模型推理提供加速支持。

    一种可动态分配运算逻辑单元的矢量运算装置及方法

    公开(公告)号:CN118276945A

    公开(公告)日:2024-07-02

    申请号:CN202410712525.1

    申请日:2024-06-04

    IPC分类号: G06F9/30 G06F17/16

    摘要: 本发明公开一种可动态分配运算逻辑单元的矢量运算装置及方法,涉及芯片设计领域;利用矢量运算装置进行运算逻辑单元ALU的动态分配,在时钟周期,取指单元在内存中取指指令,译码单元识别所取指令类型和功能,并判断所取指令是否需要调度矢量运算逻辑单元VALU分配运算逻辑单元ALU,是则矢量指令接收单元接收指令,根据指令通过运算资源管理单元动态分配相应的运算逻辑单元ALU给各计算核心,并行执行指令中的矢量运算,本发明使得处理器的多个计算核心可以动态共享矢量逻辑运算单元VALU,从而有效降低芯片面积和功耗。

    面向混合精度神经网络的存内计算单元设计方法和系统

    公开(公告)号:CN118278477A

    公开(公告)日:2024-07-02

    申请号:CN202410376716.5

    申请日:2024-03-29

    摘要: 本发明提供了一种面向混合精度神经网络的存内计算单元设计方法和系统,包括:步骤1:对现有的二值分割算法进行硬件上的混合精度乘积累加计算适配,得到改进后混合精度矢量乘积累加计算方法;步骤2:采用双模式可重构乘法单元,解决改进后混合精度矢量乘积累加计算方法所需的大位宽乘法器问题,得到改进后混合精度矢量乘积累加计算方法的硬件单元设计;步骤3:运用轻量级接口设计,结合双模式可重构乘法单元,根据改进后混合精度矢量乘积累加计算方法,完善乘法前操作元的预处理和乘法后结果的后处理硬件设计。本发明旨在提出一个存内计算电路模块,为经过混合精度量化压缩后的边缘端神经网络模型推理提供加速支持。

    一种轻量化通用图形处理器的实现方法

    公开(公告)号:CN118279125B

    公开(公告)日:2024-08-06

    申请号:CN202410712527.0

    申请日:2024-06-04

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本发明涉及通用图形处理器技术领域,特别涉及一种轻量化通用图形处理器的实现方法。该轻量化通用图形处理器的实现方法,基于开放计算语言OpenCL编程框架与RISC‑V第五代精简指令集,采用单指令多线程SIMT计算模型,同时采用高带宽存储器HBM高速缓存作为全局内存,实现轻量化的通用图形处理器的快速部署。该轻量化通用图形处理器的实现方法,采用此流水线模式,最大限度的降低了内存的使用率和软件的复杂度,提高了硬件资源利用率、降低了能耗,实现了更高的能效比;同时,基于RISC‑V指令集更易部署开发,具有灵活的可裁剪性及适配性。

    具有层间关联性感知能力的多目标混合精度量化搜索方法

    公开(公告)号:CN118333124A

    公开(公告)日:2024-07-12

    申请号:CN202410236022.1

    申请日:2024-03-01

    IPC分类号: G06N3/082 G06N3/0495

    摘要: 本发明提供了一种具有层间关联性感知能力的多目标混合精度量化搜索方法和系统,包括:压缩神经网络模型,获取推理精度;量化并降低模型每层的比特位,获取推理精度和敏感度;采样得到随机的混合精度量化策略,降低模型中的复数层的比特位;获取推理精度损失,计算所有采样得到的混合精度量化策略对应的层间依赖性;筛选出条件集合;计算得出平均层间依赖性,算出不同层数对应的层间依赖性;设定影响值指标,求出模型中每层对应的影响值的近似解;根据得到两个优化目标;得出最优策略。本发明通过采用均匀采样和线性回归的方法,得出总层数对于层间依赖性的影响值,解决了如何定量测量任意一个混合精度量化策略对应的层间依赖性的问题。

    一种轻量化通用图形处理器的实现方法

    公开(公告)号:CN118279125A

    公开(公告)日:2024-07-02

    申请号:CN202410712527.0

    申请日:2024-06-04

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本发明涉及通用图形处理器技术领域,特别涉及一种轻量化通用图形处理器的实现方法。该轻量化通用图形处理器的实现方法,基于开放计算语言OpenCL编程框架与RISC‑V第五代精简指令集,采用单指令多线程SIMT计算模型,同时采用高带宽存储器HBM高速缓存作为全局内存,实现轻量化的通用图形处理器的快速部署。该轻量化通用图形处理器的实现方法,采用此流水线模式,最大限度的降低了内存的使用率和软件的复杂度,提高了硬件资源利用率、降低了能耗,实现了更高的能效比;同时,基于RISC‑V指令集更易部署开发,具有灵活的可裁剪性及适配性。