公开(公告)号：CN119397229A

公开(公告)日：2025-02-07

申请号：CN202411452287.1

申请日：2024-10-17

Applicant: 浙江大学

Inventor： 何水兵 ,  王文炯 ,  杨斯凌

IPC: G06F18/211 ,  G06N3/045 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于交错映射的GCN‑ReRAM顶点特征选择性更新方法。本发明针对利用基于ReRAM的存算一体系统训练图卷积神经网络时，由于度数满足幂律分布的顶点随机分布造成GCN相关写操作的总延迟受限于单位最长写延迟，产生“木桶短板效应”，严重影响加速器性能的问题。本发明考虑了顶点特征的重要性，重要性较高的顶点特征每次反向传播更新，不重要的顶点间隔多次反向传播更新，既减少了Crossbar的写次数，降低了其写延迟，又提高了Crossbar的使用寿命，同时，本方法采用的交错映射方式能够保证每个Crossbar的更新时间一致，防止个别Crossbar更新时间过长降低系统的整体性能。

公开(公告)号：CN117610627A

公开(公告)日：2024-02-27

申请号：CN202311624812.9

申请日：2023-11-30

Applicant: 浙江大学

Inventor： 何水兵 ,  朱建新 ,  吴桐 ,  杨斯凌 ,  陈平

IPC: G06N3/063 ,  G06N3/092 ,  G06N3/0464

Abstract: 本发明提供了一种面向DNN模型的Crossbar级异构ReRAM加速器配置方法及系统，本发明面向基于ReRAM的存内计算架构，分析模型层中权重参数与Crossbar大小在性能表现中的关系，提出分层异构的思想；使用强化学习算法自动化进行模型异构配置，在不损失模型精度的情况下，能够有效提升Crossbar利用率，降低系统计算延迟和能耗。

公开(公告)号：CN118606761A

公开(公告)日：2024-09-06

申请号：CN202410762037.1

申请日：2024-06-13

Applicant: 浙江大学

Inventor： 何水兵 ,  陈伟剑 ,  张瑞东 ,  瞿皓阳 ,  陈平 ,  杨斯凌

IPC: G06F18/24 ,  G06F18/23213 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种重要性感知的深度学习数据预取方法和系统，旨在解决训练数据预取时间长导致的训练性能低下的问题。本发明首先通过训练数据分类模块根据数据的重要性值进行分类，将训练数据自动分为重要性波动大和波动小的两类训练数据；然后通过历史重要值评估模块和实时重要值评估模块来评估数据的重要性值，动态调整数据预取策略，优先加载对模型性能提升有显著作用的重要数据，减少对不重要数据的加载，从而降低数据加载时间，提高训练效率。本发明适用于大规模训练数据集，能够在维持同等水平模型精度的同时，缩短50％的训练时间。

公开(公告)号：CN117521749A

公开(公告)日：2024-02-06

申请号：CN202311355813.8

申请日：2023-10-19

Applicant: 浙江大学

Inventor： 何水兵 ,  段和霄 ,  杨斯凌 ,  陈伟剑

IPC: G06N3/063 ,  G06N5/04

Abstract: 本发明提供了一种基于忆阻器的推荐系统加速器的嵌入查询推理方法，对于输入的一个批次的样本数据batch0，基于嵌入表，分别分析一个批次的样本数据中对应索引元素的冗余现象，去除重复的索引元素，得到新的无冗余样本数据batch1；并建立batch0和batch1之间的映射；基于无冗余样本数据batch1访问存储器进行嵌入表查询和推理，推理完成后，根据原始的样本数据batch0和无冗余样本数据batch1之间的映射，对推理结果进行复制填充至原始的样本数据batch0对应大小，获得最终的原始的样本数据batch0对应的推理结果。本发明通过对输入的样本数据进行分析，去除其中重复的查询索引，构建新的无冗余数据来进行推理，减少了冗余的忆阻器访问，从而提升系统整体的推理性能。

公开(公告)号：CN115310605A

公开(公告)日：2022-11-08

申请号：CN202210876872.9

申请日：2022-07-25

Applicant: 浙江大学

Inventor： 何水兵 ,  洪佩怡 ,  陈平 ,  李振鑫 ,  陈伟剑 ,  杨斯凌 ,  党政

IPC: G06N3/08 ,  G06N3/063 ,  G06F3/06

Abstract: 本发明提供了一种基于非易失性内存的推荐系统网络高效训练方法及系统，本发明高效利用了非易失性内存的带宽、延迟特性以及非易失特性，最优化推荐系统网络的训练性能。该方法具体为：面向动态内存(DRAM)、非易失性内存(NVM)混合存储架构，利用推荐系统网络中Embedding数据的冷热特性，将数据进行智能摆放，增加数据的访问效率，提高训练的性能；其次，利用非易失特性，设计新型训练模式以及检查点模式，利用双版本持久化技术与增量、并行优化技术，进一步提升系统性能，降低NVM寿命的损耗。

公开(公告)号：CN118674004A

公开(公告)日：2024-09-20

申请号：CN202410877177.3

申请日：2024-07-02

Applicant: 浙江大学

Inventor： 何水兵 ,  吴桐 ,  朱建新 ,  杨斯凌 ,  王文炯 ,  冯丹 ,  童薇

IPC: G06N3/092 ,  G06V10/82

Abstract: 本发明提供了一种面向DNN模型的模式感知的自动化SDK存算一体映射方法，本发明面向基于ReRAM的存算一体架构，分析模型输入特征图中不同位置计算次数的差异与ReRAM映射间的关系，提出模式感知的分区映射思想；使用强化学习算法自动化实现分区内的进一步优化，在不影响模型精度的情况下，能够有效提升crossbar利用率，降低系统计算延迟和能耗。

公开(公告)号：CN118627563A

公开(公告)日：2024-09-10

申请号：CN202410762044.1

申请日：2024-06-13

Applicant: 浙江大学

Inventor： 何水兵 ,  杨斯凌 ,  王文炯 ,  陈伟剑 ,  吴桐 ,  陈平

IPC: G06N3/063 ,  G06F9/50 ,  G06F7/485 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/042

Abstract: 本发明公开了一种基于资源副本的图卷积神经网络存算一体系统。包括多个ReRAM瓦片、一个128kb全局缓冲区、由SRAM组成的权重计算模块、一个激活模块、一组加法器、一个用于降低片外访存延迟中央控制器、时间预测器和资源分配器。本发明为GCN训练设计了一个基于ReRAM的存算一体系统，采用一个基于副本的执行时间预测器和基于大顶堆的资源分配方案，实现了资源的自适应分配以尽可能缩短流水线训练的时间，最终获得更大的加速比和更优的节能效果。