公开(公告)号：CN115391036A

公开(公告)日：2022-11-25

申请号：CN202211014329.4

申请日：2022-08-23

Applicant: 浙江大学

Inventor： 何水兵 ,  宗威旭 ,  陈平 ,  汪睿

IPC: G06F9/50 ,  G06N3/04 ,  G06N3/063

Abstract: 本发明提出了一种基于强化学习内存调度决策的模型训练方法及系统，本发明基于强化学习算法，对于训练过程中产生的训练信息进行分析，并根据反馈更新决策方案，决定对哪些数据进行转移。从而进一步优化内存空间，并提高深度学习模型训练的整体性能。

公开(公告)号：CN115293339A

公开(公告)日：2022-11-04

申请号：CN202210904611.3

申请日：2022-07-29

Applicant: 浙江大学

Inventor： 何水兵 ,  陈平 ,  詹璇

IPC: G06N3/063 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明提出了一种基于神经网络中数据稠密特性的智能训练加速方法，该方法通过对模型进行预训练收集相关数据信息与性能模型信息，并利用深度学习网络的稠密特性结合压缩与解压缩算法动态减少GPU与CPU之间所需传输的数据量，从而提升系统整体性能。本发明还提出了一种基于神经网络中数据稠密特性的智能训练加速系统，该系统包括：数据采集模块、稠密数据压缩率决策模块、选择性压缩决策模块以及训练模块；利用本发明系统进行神经网络训练，能有效提升训练速度和系统整体性能。

公开(公告)号：CN112612803B

公开(公告)日：2022-07-12

申请号：CN202011527095.4

申请日：2020-12-22

Applicant: 浙江大学

Inventor： 何水兵 ,  李振鑫

IPC: G06F16/23 ,  G06F16/22

Abstract: 本发明提出一种基于持久性内存的键值对存储系统，系统中的每个结点包含键值对数组和两个初始化值相同的bitmap，分别表示为commitBM和shadowBM，其中，所述shadowBM用于插入线程获取键值对数组的写入空位；所述commitBM用于键值对写入后更新，保持一致性。本发明还提供了相应的数据并发插入方法,可以解决键值对存储系统多线程模式下使用锁机制带来的性能问题。该方案采用无锁技术CAS(compare and swap)对临界数据进行修改，使用位图(bitmap)来标识有效的键值对，从而实现无锁条件下的并发插入操作，减少线程间的冲突等待开销，提高整个键值对存储系统的性能。

公开(公告)号：CN112418422B

公开(公告)日：2022-05-27

申请号：CN202011307776.X

申请日：2020-11-20

Applicant: 之江实验室 ,  浙江大学

Inventor： 何水兵 ,  胡双 ,  孙贤和 ,  银燕龙 ,  陈刚 ,  任祖杰

IPC: G06N3/08

Abstract: 本发明公开了一种基于人脑记忆机制的深度神经网络训练数据采样方法，包括如下步骤：S1，在初始训练周期，设置下一轮要训练的序列为整个训练集；S2，将训练序列中包含的数据根据批大小打包为多个批，放入神经网络进行训练，并获得样本的训练损失值；S3，根据损失值将样本序列划分为困难、中间、简单三种类型；S4，整个训练序列的样本都增加一个基本时钟，中间和简单的样本需要根据倒计时等待函数分别计算样本的额外增加的时钟数；S5，整个训练集的样本都减少一个时钟数，将时钟数为0的样本放入下一轮将要训练的序列之中；S6，重复步骤2‑5，直到神经网络收敛或者训练周期数结束。

公开(公告)号：CN112306697B

公开(公告)日：2021-04-27

申请号：CN202011619848.4

申请日：2020-12-31

Applicant: 之江实验室 ,  浙江大学

Inventor： 何水兵 ,  陈帅犇 ,  陈平 ,  杨斯凌 ,  陈伟剑 ,  孙贤和 ,  陈刚 ,  银燕龙 ,  毛旷

IPC: G06F9/50 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于Tensor访问的深度学习内存管理方法，该方法通过收集神经网络的执行信息和硬件平台的性能信息获得相关决策下的内存空间开销和时间开销，并建立整数线性规划模型，通过在约束条件下优化求解最优的Tensor调度策略，从而解决内存不足问题的同时获得较高的深度学习训练性能。相比于现有技术，相同的硬件性能下，本发明可以实现更大的batchsize的神经网络训练。本发明同时还提出了一种内存管理系统，包括profile模块、决策模块和执行模块；该系统可直接添加在深度学习框架上，使用方便。

公开(公告)号：CN112308215B

公开(公告)日：2021-03-30

申请号：CN202011633404.6

申请日：2020-12-31

Applicant: 之江实验室 ,  浙江大学

Inventor： 何水兵 ,  陈平 ,  陈帅犇 ,  杨斯凌 ,  陈伟剑 ,  孙贤和 ,  陈刚 ,  毛旷

IPC: G06N3/04 ,  G06N3/08 ,  G06N7/00 ,  G06F9/50

Abstract: 本发明提出了一种基于神经网络中数据稀疏特性的智能训练加速方法，该方法通过对模型进行预训练收集相关数据信息与性能模型信息，并利用深度学习网络的稀疏特性结合压缩与解压缩算法动态减少GPU与CPU之间所需传输的数据量，从而提升系统整体性能。本发明还提出了一种基于神经网络中数据稀疏特性的智能训练加速系统，该系统包括：Profile模块、GPU性能模型模块、决策器以及深度学习训练模块；利用本发明系统进行神经网络训练，能有效提升训练速度和系统整体性能。

公开(公告)号：CN112308215A

公开(公告)日：2021-02-02

申请号：CN202011633404.6

申请日：2020-12-31

Applicant: 之江实验室 ,  浙江大学

Inventor： 何水兵 ,  陈平 ,  陈帅犇 ,  杨斯凌 ,  陈伟剑 ,  孙贤和 ,  陈刚 ,  毛旷

IPC: G06N3/04 ,  G06N3/08 ,  G06N7/00 ,  G06F9/50

Abstract: 本发明提出了一种基于神经网络中数据稀疏特性的智能训练加速方法，该方法通过对模型进行预训练收集相关数据信息与性能模型信息，并利用深度学习网络的稀疏特性结合压缩与解压缩算法动态减少GPU与CPU之间所需传输的数据量，从而提升系统整体性能。本发明还提出了一种基于神经网络中数据稀疏特性的智能训练加速系统，该系统包括：Profile模块、GPU性能模型模块、决策器以及深度学习训练模块；利用本发明系统进行神经网络训练，能有效提升训练速度和系统整体性能。