一种基于阻变存储器的模型量化方法、装置以及设备

    公开(公告)号:CN117787358A

    公开(公告)日:2024-03-29

    申请号:CN202410064436.0

    申请日:2024-01-16

    申请人: 之江实验室

    IPC分类号: G06N3/0495 G06N3/063

    摘要: 本说明书提供的一种基于阻变存储器的模型量化方法、装置以及设备中,通过根据待量化模型构建压缩模型,确定压缩模型各网络层预设的输入位宽和预设的权重位宽,然后再将训练样本输入所述压缩模型,确定输出结果,根据所述输出结果以及所述训练样本对应标注之间的差异,确定损失;以所述损失最小为优化目标,调整所述压缩模型的各网络层的所述输入位宽以及所述权重位宽,并确定若干组符合优化条件的输入位宽以及权重位宽,根据压缩模型的模型精度确定各网络层对应的输入位宽以及权重位宽。使得量化后的模型在保证模型精度满足要求的前提下,可通过阻变存储器精确表示模型的权重,增大了阻变存储器的资源利用率。

    基于阻变存储器的图卷积网络文献识别装置与方法

    公开(公告)号:CN115905546A

    公开(公告)日:2023-04-04

    申请号:CN202310017218.7

    申请日:2023-01-06

    申请人: 之江实验室

    摘要: 本发明公开了基于阻变存储器的图卷积网络文献识别装置与方法,对文献识别数据集进行训练集和测试集的构建;构建基于阻变存储器的浮点图卷积网络模型,用训练集进行预训练,得到预训练的模型参数;根据浮点图卷积网络模型,构建基于阻变存储器的训练阶段的图卷积网络量化模型;将训练集输入训练阶段的图卷积网络量化模型,进行量化感知训练,得到每层输出值的截断位宽、损失函数的权值,以及量化感知训练后的模型参数;根据训练阶段的图卷积网络量化模型,构建基于阻变存储器的推理阶段的图卷积网络量化模型;将量化感知训练后的模型参数映射到阻变存储器上,并将测试集输入到基于阻变存储器的推理阶段的图卷积网络量化模型,进行前向推理测试。

    基于离散事件的计算机体系结构的并行仿真方法及装置

    公开(公告)号:CN115827170A

    公开(公告)日:2023-03-21

    申请号:CN202310123062.0

    申请日:2023-02-16

    申请人: 之江实验室

    IPC分类号: G06F9/455

    摘要: 本发明公开了基于离散事件的计算机体系结构的并行仿真方法及装置,将待仿真的计算机体系结构,按功能与延迟划分与组合成多个关键节点,并给每个关键节点分配一个线程;所有事件队列中的事件,按照事件发生的时间进行排序,时间相同的事件,按照优先级高低进行排序,整个仿真过程共同维护一条共享时间轴;利用前瞻量与路障事件对所有关键节点进行同步。在避免因果关系错误的条件下利用现代计算机的并行计算能力加速仿真过程。本发明将待仿真体系结构系统按功能与延迟划分与组合成多个关键节点,其中划分模块有利于提高仿真系统的并行度,合并低延迟模块有助于扩大前瞻量,降低同步开销,合理的关键节点选择能进一步加速仿真过程。

    一种基于低比特脉冲神经网络的图像数据分类方法和装置

    公开(公告)号:CN114332545B

    公开(公告)日:2022-08-05

    申请号:CN202210261211.5

    申请日:2022-03-17

    申请人: 之江实验室

    摘要: 本发明提供一种基于低比特脉冲神经网络的图像数据分类方法和装置,该方法包括:步骤一,获取开源图像数据集,分为训练集和测试集,其中数据集包括计算机图像数据和神经形态数据;步骤二,构建包含隐含层的脉冲神经网络模型,再改进LIF神经元,构建基于改进后的LIF神经元的脉冲神经网络模型;步骤三,通过构建训练损失函数并进行各项梯度求解,对脉冲神经网络模型进行训练;步骤四,在训练集上使用梯度下降参数更新方法进行脉冲神经网络模型优化训练;步骤五,利用构建并训练好的脉冲神经网络模型,对测试集进行识别,得到预测的数据分类标签,实现分类任务。本发明的方法具有更低的功耗,同时与全精度网络模型有近似的准确率。

    一种基于阻变存储器的模型训练方法、装置、介质及设备

    公开(公告)号:CN117744731B

    公开(公告)日:2024-09-13

    申请号:CN202311686862.X

    申请日:2023-12-07

    申请人: 之江实验室

    IPC分类号: G06N3/08 G06N3/065

    摘要: 本说明书公开了一种基于阻变存储器的模型训练方法、装置、介质及设备。通过对各初始网络权重以预设的网络权重范围进行预调整,而后根据预设的尺度参数以及各调整后网络权重中的最大值将各调整后网络权重转化为阻变存储器的电导值,通过将样本数据转化为电压值控制阻变存储器输出电流,并在阻变存储器输出电流后,先将阻变存储器中的各电导值对应的网络权重替换目标模型中的各网络权重,而后以阻变存储器输出的电流的电流值对应的预测结果以及样本数据对应的实际标签对替换了网络权重的目标模型进行训练,更合理的将各初始网络权重映射为阻变存储器中的各电导值,解决了阻变存储器中的电导值写入误差问题对模型训练的影响,提高了模型训练效率。

    基于模糊控制器的机器人导航避障方法及装置

    公开(公告)号:CN115576328A

    公开(公告)日:2023-01-06

    申请号:CN202211421109.3

    申请日:2022-11-15

    申请人: 之江实验室

    IPC分类号: G05D1/02

    摘要: 本发明公开了基于模糊控制器的机器人导航避障方法及装置,通过采集机器人激光雷达和里程计两种传感器的信息作为模糊控制器输入,建立两套知识库和模糊推理规则,得到第一模糊控制器的输出为机器人运动的线速度和角速度,第二模糊控制器的输出为导航和避障两个任务的权重值,用于权衡机器人的导航和避障这两个任务。本发明中除了模糊控制理论外不需要其他人工智能算法的辅助,不需要预先构建地图,不需要大量的数据库和训练集,即可实现机器人在未知的、动态的复杂环境中避障导航的功能。基于人类知识和语言设计的策略,易于理解、实时性高、鲁棒性强。

    一种基于脉冲神经网络的睡眠类型分类方法和装置

    公开(公告)号:CN115429293A

    公开(公告)日:2022-12-06

    申请号:CN202211373110.3

    申请日:2022-11-04

    申请人: 之江实验室

    摘要: 本发明公开一种基于脉冲神经网络的睡眠类型分类方法和装置,该方法包括:步骤一,获取开源睡眠脑电图数据集;步骤二,将数据集中脑电图信号分割成多个第一片段信号,删除不需要的第一片段信号,并归一化剩余的第一片段信号;步骤三,分割归一化后的第一片段信号,得到第二片段信号;步骤四,将每一个第二片段信号进行事件编码,获得第二片段事件信号,并分为训练集和测试集;步骤五,构建脉冲神经网络模型及其损失函数进行各项参数梯度求解;步骤六,在训练集上进行脉冲神经网络模型优化训练,利用训练好的脉冲神经网络模型对测试集进行识别,实现睡眠类型分类。本发明相比传统神经网络分类检测具有计算量更少、更节能的优点。

    存算一体卷积神经网络的数据存储及阵列映射方法与装置

    公开(公告)号:CN115204380A

    公开(公告)日:2022-10-18

    申请号:CN202211118488.9

    申请日:2022-09-15

    申请人: 之江实验室

    IPC分类号: G06N3/063 G06N3/04 G06N3/08

    摘要: 本发明公开了存算一体卷积神经网络的数据存储及阵列映射方法与装置,其中数据存储,除了初始的图像输入采用以行为单位的方式依次存储,在其余卷积神经网络计算过程中的中间特征值都采用多通道混合的方式,采用以数据在特征图中的位置为单位的方式依次存储;在阵列映射中,除了首层卷积层以不同输入通道的卷积核从上往下依次排布,在其余卷积神经网络的阵列映射过程中,结合混合数据存储的方式,将卷积神经网络中的权重混合映射,而全连接层的权重按照顺序依次映射。本发明基于存算一体技术优化了卷积神经网络计算中的数据存储形式,减小了计算过程中需要访问数据存储器的次数,并结合混合映射方法提升了卷积神经网络的计算效率。

    基于阻变存储器的神经网络图像分类系统及方法

    公开(公告)号:CN114677548B

    公开(公告)日:2022-10-14

    申请号:CN202210579664.2

    申请日:2022-05-26

    申请人: 之江实验室

    摘要: 本发明公开了基于阻变存储器的神经网络图像分类系统及方法,系统包括依次连接的输入层、一组卷积层和全连接层,为卷积层配合设置卷积量化层、卷积反量化层、激活层和池化层,方法包括步骤S1:对待分类的图像进行归一化,得到归一化后的图像;步骤S2:对归一化后的图像进行训练集和测试集的构建;步骤S3:构建基于阻变存储器的神经网络模型;步骤S4:将训练集输入到基于阻变存储器的神经网络模型中,进行量化感知训练,得到量化感知训练后的模型参数,包括如下步骤:步骤S5:将测试集图像输入训练好的神经网络,进行进行前向推理测试。