-
公开(公告)号：CN117349287A
公开(公告)日：2024-01-05
申请号：CN202311385166.5
申请日：2023-10-24
Applicant: 浙江大学
IPC: G06F16/22 , G06F16/901
Abstract: 本发明公开了一种基于混合存储的极大二分团枚举方法，获取二分图G(U,V,E),其中U和V是二分图中的两个不相交顶点集，E是边集；设置阈值t，用于决定运行时子图的存储方式；如果U内顶点数量大于t，则G0采用邻接表存储；否则，G0采用位图存储；以U，V,G0为函数初始参数，递归调用BicliqueFind(L,R,C,G)函数；输出所有极大二分团或极大二分团的计数结果给用户。本发明采用混合存储方法，既保留了邻接表存储的低存储空间开销特性，又结合了位图存储计算高效的特点。针对二分团枚举过程中大量仅需要在小图上进行计算的任务，本发明通过动态构建子位图，极大地提升了二分团枚举任务的执行速度。
-
公开(公告)号：CN115510279A
公开(公告)日：2022-12-23
申请号：CN202211123946.8
申请日：2022-09-15
Applicant: 浙江大学
IPC: G06F16/901 , G06F3/06
Abstract: 本发明提出了一种NUMA友好的持久内存图访存方法及装置，本发明通过NUMA感知的分离图存储方案，将不同类别的图数据存放在不同NUMA结点的持久内存上，然后通过一种基于CPU绑定的图更新和图查询方案，将图计算对PMEM的写入线程和读取线程都绑定到本地的CPU上，从而避免跨NUMA的远程PMEM访问，提升图计算系统的性能。
-
公开(公告)号：CN114546662A
公开(公告)日：2022-05-27
申请号：CN202210194862.7
申请日：2022-03-01
Applicant: 浙江大学
Abstract: 本发明提供了一种基于日志结构的持久性内存的内存块元数据管理方法及装置，本发明将持久性内存的内存块元数据存入DRAM中，并将内存块元数据的核心数据根据内存块的状态更新以日志条目的形式追加写入到持久性内存的日志文件中；所述日志文件中划分成多个日志组存储日志条目。同时在DRAM中保存日志组元数据，所述日志组元数据为指明日志组分配情况的位图bitmap，通过红黑树对已分配的日志组元数据进行管理，并将被释放的日志组元数据通过链表进行管理。本发明通过修改元数据的布局模式，使得持久性内存元数据的分布更具有局部性，减少小规模数据的随机写入，提高持久性内存的分配性能。
-
公开(公告)号：CN114462590A
公开(公告)日：2022-05-10
申请号：CN202111520870.8
申请日：2021-12-13
IPC: G06N3/08 , G06F16/2455
Abstract: 本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。
-
公开(公告)号：CN113487025A
公开(公告)日：2021-10-08
申请号：CN202110749499.6
申请日：2021-07-02
Applicant: 浙江大学
Abstract: 本发明提供了一种面向神经网络检查点数据的智能压缩存储方法，所述神经网络检查点数据包括权重浮点数数据和优化器浮点数数据；该方法具体为：利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储；和/或利用索引值映射代替神经网络每轮训练后的部分或全部优化器浮点数数据的前n位后进行存储。其中，索引值的位数小于n。本发明利用深度学习检查点数据的特征并结合模型训练流程，设计了智能压缩方法与系统，对检查点不同类别数据高效压缩，从而有效提高了存储系统的存储量和寿命。
-
Patent Agency Ranking
公开(公告)号：CN112862111A
公开(公告)日：2021-05-28
申请号：CN202110450988.1
申请日：2021-04-26
IPC: G06N20/00
Abstract: 本发明涉及分布式计算系统领域，具体涉及一种加速分布式机器学习梯度汇聚的方法和装置，该装置包括：包括梯度汇聚器和与梯度汇聚器连接的工作节点，所述工作节点用于提供梯度数据至梯度汇聚器和接收梯度汇聚器的返还数据；所述梯度汇聚器，包括：输入接口和输入队列模块、接收仲裁模块、解析查找模块、输出队列模块、聚合模块、存储器、输出接口模块和配置接口模块，其中的聚合模块包括：控制模块、解析模块、梯度数据块信息表、梯度数据块缓存器、计算模块和网络组包输出模块。本发明支持大型机器学习模型的训练，存储器可以存储大量梯度数据，同时所需要的缓存空间可以很小，降低了系统缓存的要求，提高了系统整体性能。
-
公开(公告)号：CN112598129A
公开(公告)日：2021-04-02
申请号：CN202110236303.3
申请日：2021-03-03
IPC: G06N3/08
Abstract: 本发明提出了一种基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架，该剪枝和映射框架包括DDPG代理器和ReRAM神经网络加速器；所述DDPG代理器由行为决策模块Actor和评判模块Critic组成，其中，行为决策模块Actor用于对神经网络做出剪枝决策；ReRAM神经网络加速器用于映射行为决策模块Actor产生的剪枝决策下形成的模型，并将此剪枝决策下的模型映射的性能参数作为信号反馈给评判模块Critic；所述性能参数包括模拟器的能耗、延迟和模型准确率；评判模块Critic根据反馈的性能参数更新奖励函数值，并指导行为决策模块Actor下一阶段的剪枝决策；本发明方法利用强化学习DDPG代理来做出与硬件和用户需求最匹配、最高效的剪枝方案，在保证准确率的同时，提升了硬件上延迟性能和能耗性能。
-
公开(公告)号：CN119536635A
公开(公告)日：2025-02-28
申请号：CN202411476146.3
申请日：2024-10-22
Applicant: 浙江大学
IPC: G06F3/06
Abstract: 本发明公开了一种重要性感知的KV缓存管理系统及方法，旨在解决大模型推理过程中由于传统的K、V缓存管理策略效率低下导致的推理时延长，吞吐率低的问题。本发明在K、V缓存的管理策略中引入重要性，通过追踪K、V的重要性，并结合K、V被读取的频率，用重要性分数作为缓存管理的依据，提高了存储中的相对快速介质上的缓存命中率，减少了读取K、V的时间，降低了推理系统的整体时延，提高了吞吐量。本发明适用于有共享前缀的基于重要性的大模型推理任务，能够在维持模型推理精度的同时，缩短输出时延，提升吞吐量约两倍。
-
公开(公告)号：CN119396987A
公开(公告)日：2025-02-07
申请号：CN202411465558.7
申请日：2024-10-21
Applicant: 浙江大学
IPC: G06F16/3332 , G06F16/334 , G06F16/31 , G06F40/279 , G06F40/58
Abstract: 本发明公开了一种重要性感知的大模型前缀KV重排方法和系统，包括：通过重要信息采集模块根据历史查询和前缀的计算结果，判断出基数树中每个节点内的所有token是否为重要的；通过前缀KV重排模块读取包含Imp序列的K或V的数据块到CPU内存中，然后将其中重要的token对应的K或V重新放置在一个数据块中，不重要的token对应的K或V放置在其他的数据块中；元数据更新模块根据重排后的token顺序，更新每个基数树节点中的序列，把重要的token放在前面，不重要的放在后面。本发明缓解了读放大问题，进一步减少磁盘的数据读取量；降低前缀KV复用时的加载时间，从而缩短大模型推理时产生第一个token的时间。
-
公开(公告)号：CN118606761A
公开(公告)日：2024-09-06
申请号：CN202410762037.1
申请日：2024-06-13
Applicant: 浙江大学
IPC: G06F18/24 , G06F18/23213 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种重要性感知的深度学习数据预取方法和系统，旨在解决训练数据预取时间长导致的训练性能低下的问题。本发明首先通过训练数据分类模块根据数据的重要性值进行分类，将训练数据自动分为重要性波动大和波动小的两类训练数据；然后通过历史重要值评估模块和实时重要值评估模块来评估数据的重要性值，动态调整数据预取策略，优先加载对模型性能提升有显著作用的重要数据，减少对不重要数据的加载，从而降低数据加载时间，提高训练效率。本发明适用于大规模训练数据集，能够在维持同等水平模型精度的同时，缩短50％的训练时间。
-
-
-
-
-
-
-
-
-
Search Results
57
records
(took 0.023 seconds)
