-
公开(公告)号：CN119396987A
公开(公告)日：2025-02-07
申请号：CN202411465558.7
申请日：2024-10-21
Applicant: 浙江大学
IPC: G06F16/3332 , G06F16/334 , G06F16/31 , G06F40/279 , G06F40/58
Abstract: 本发明公开了一种重要性感知的大模型前缀KV重排方法和系统，包括：通过重要信息采集模块根据历史查询和前缀的计算结果，判断出基数树中每个节点内的所有token是否为重要的；通过前缀KV重排模块读取包含Imp序列的K或V的数据块到CPU内存中，然后将其中重要的token对应的K或V重新放置在一个数据块中，不重要的token对应的K或V放置在其他的数据块中；元数据更新模块根据重排后的token顺序，更新每个基数树节点中的序列，把重要的token放在前面，不重要的放在后面。本发明缓解了读放大问题，进一步减少磁盘的数据读取量；降低前缀KV复用时的加载时间，从而缩短大模型推理时产生第一个token的时间。
-
公开(公告)号：CN118606761A
公开(公告)日：2024-09-06
申请号：CN202410762037.1
申请日：2024-06-13
Applicant: 浙江大学
IPC: G06F18/24 , G06F18/23213 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种重要性感知的深度学习数据预取方法和系统，旨在解决训练数据预取时间长导致的训练性能低下的问题。本发明首先通过训练数据分类模块根据数据的重要性值进行分类，将训练数据自动分为重要性波动大和波动小的两类训练数据；然后通过历史重要值评估模块和实时重要值评估模块来评估数据的重要性值，动态调整数据预取策略，优先加载对模型性能提升有显著作用的重要数据，减少对不重要数据的加载，从而降低数据加载时间，提高训练效率。本发明适用于大规模训练数据集，能够在维持同等水平模型精度的同时，缩短50％的训练时间。
-
公开(公告)号：CN118244981A
公开(公告)日：2024-06-25
申请号：CN202410278258.1
申请日：2024-03-12
Applicant: 浙江大学
IPC: G06F3/06
Abstract: 本发明提出一种基于持久性内存的键值对存储系统及方法，本发明系统包括DRAM、PM、键值对写入单元、写前日志清理回收单元四部分，其中在DRAM中设置若干缓冲结点和索引层；在PM中设置数据存储区和写前日志存储区；所述缓冲结点用于汇聚写入数据，在缓冲结点满时再进行持久化写入至PM中的数据存储区；所述PM中的写前日志存储区维护一个写前日志，用于保证系统的崩溃一致性。键值对写入单元用于执行键值对写入操作，在DRAM缓冲结点中汇聚写入数据，在缓冲区满时进行持久化写入；本发明通过选择性的写日志技术以及局部感知的日志回收技术来减少写前日志带来的PM写入次数，从而提高系统插入性能。
-
公开(公告)号：CN114462590B
公开(公告)日：2024-05-10
申请号：CN202111520870.8
申请日：2021-12-13
IPC: G06N3/08 , G06F16/2455
Abstract: 本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。
-
-
Patent Agency Ranking
公开(公告)号：CN115510280A
公开(公告)日：2022-12-23
申请号：CN202211123986.2
申请日：2022-09-15
Applicant: 浙江大学
IPC: G06F16/901 , G06F3/06
Abstract: 本发明提出了一种基于分层顶点缓存的持久内存图存储方法及系统，本发明通过一种以顶点为中心的缓存方式，将图更新对持久内存的多次访问在DRAM中缓存后合并成单次访问，从而提升大规模动态图存储对持久内存的访问效率，提升系统的整体性能。本发明还提出了一种层次化的顶点缓冲区管理方案来减少这些顶点缓冲区带来的DRAM空间开销。
-
公开(公告)号：CN114943338A
公开(公告)日：2022-08-26
申请号：CN202210266429.X
申请日：2022-03-17
Abstract: 本发明公开了一种基于访问模式和熵感知的ReRAM推荐系统加速器映射方法及系统，本发明在推荐系统映射之前，对推荐系统负载的数据集进行访问模式的采样分析，充分利用嵌入表的访问模式来聚类嵌入向量，利用嵌入表的熵值来对映射在ReRAM加速器上的嵌入表进行混合量化，使得ReRAM加速器在有限的交叉阵列资源上执行推荐系统模型，解决内存瓶颈问题，从而加速整个推理过程并降低推理能耗。
-
公开(公告)号：CN114546661A
公开(公告)日：2022-05-27
申请号：CN202210193860.6
申请日：2022-03-01
Applicant: 浙江大学
IPC: G06F9/50
Abstract: 本发明提供了一种基于内存变换的动态内存分配方法，该方法通过修改内存块未完全分配的内存区域的元数据，使其可以服务于新的内存分配请求大小，包括：记录未变换时内存区域的内存块大小、第一个内存块的起始地址、已分配内存块数量及内存块分配情况；根据新的内存分配请求大小，设置并记录变换后内存区域的内存块大小、第一个内存块的起始地址；根据当前变换前后内存块的对应关系，记录变换后内存块中变换前已分配内存块数量，并记录当前所有的内存块分配情况；根据内存释放情况实时更新当前所有的内存块分配情况，本发明通过内存变换，使得slab可以根据需要服务于不同大小的内存分配请求，从而减少空闲slab的数量，减少内存碎片，提高内存的利用率。
-
公开(公告)号：CN114266302A
公开(公告)日：2022-04-01
申请号：CN202111547323.9
申请日：2021-12-16
Applicant: 浙江大学
IPC: G06K9/62
Abstract: 本发明提供了一种面向异构内存设备的深度学习Embedding数据高效处理系统及方法，该系统包括三个模块，其中Embedding数据摆放模块用于将Embedding数据与预加和数据进行分类并摆放到NVM或者DRAM上；高效索引建立模块用于对摆放好的数据建立索引；Embedding操作运行模块利用已建立好的索引，快速对请求中涉及的Embedding数据进行定位，并执行正常的Embedding操作。本发明利用深度学习Embedding数据的冷热特性以及打包出现特性在异构内存设备上进行数据摆放；并建立轻量级索引以高效地服务任务请求，该系统能够最大化利用DRAM与NVM的空间，提高系统对Embedding数据的处理效率。
-
公开(公告)号：CN112862111B
公开(公告)日：2021-08-24
申请号：CN202110450988.1
申请日：2021-04-26
IPC: G06N20/00
Abstract: 本发明涉及分布式计算系统领域，具体涉及一种加速分布式机器学习梯度汇聚的方法和装置，该装置包括：包括梯度汇聚器和与梯度汇聚器连接的工作节点，所述工作节点用于提供梯度数据至梯度汇聚器和接收梯度汇聚器的返还数据；所述梯度汇聚器，包括：输入接口和输入队列模块、接收仲裁模块、解析查找模块、输出队列模块、聚合模块、存储器、输出接口模块和配置接口模块，其中的聚合模块包括：控制模块、解析模块、梯度数据块信息表、梯度数据块缓存器、计算模块和网络组包输出模块。本发明支持大型机器学习模型的训练，存储器可以存储大量梯度数据，同时所需要的缓存空间可以很小，降低了系统缓存的要求，提高了系统整体性能。
-
-
-
-
-
-
-
-
-
Search Results
57
records
(took 0.046 seconds)
