-
公开(公告)号：CN112804297B
公开(公告)日：2022-08-19
申请号：CN202011599244.8
申请日：2020-12-30
Applicant: 之江实验室
IPC: H04L67/1097 , H04L67/1074
Abstract: 本发明公开了一种可组装的分布式计算和存储系统及其构造方法，包括：一个以上域服务器，用于计算服务或存储服务；网络交换单元，负责将域服务器连接形成分布式计算和存储系统；域服务器包括：对象处理单元，采用多核构造处理器线程组，负责域服务器内网络连接，并通过高级语言编程提供管理控制和数据处理；计算单元，提供计算能力；内存单元，用于动态随机存储器；持久化内存单元，用于非易失内存；存储单元，提供持久化存储；多个计算单元、多个内存单元、多个非易失内存单元、多个存储单元，分别通过网络交换单元连接形成计算池、内存池、非易失内存池、存储池；一个或多个域服务器通过网络交换单元连接形成分布式计算和存储系统。
-
公开(公告)号：CN114598631A
公开(公告)日：2022-06-07
申请号：CN202210455426.0
申请日：2022-04-28
Applicant: 之江实验室
Abstract: 本发明提供了一种面向神经网络计算的分布式数据路由的建模方法和装置，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；利用所述的面向神经网络计算的分布式数据路由的建模方法和装置搭建模型，分布式设计和开发的难度低，推动了深度神经网络大模型落地应用的发展。
-
公开(公告)号：CN114462590A
公开(公告)日：2022-05-10
申请号：CN202111520870.8
申请日：2021-12-13
IPC: G06N3/08 , G06F16/2455
Abstract: 本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。
-
公开(公告)号：CN113031966A
公开(公告)日：2021-06-25
申请号：CN202110551554.0
申请日：2021-05-20
Applicant: 之江实验室
Abstract: 本发明公开了一种智能选择编译加速库的深度学习编译优化方法，目的是通过在深度学习编译器中加入编译加速库，结合深度学习编译器与编译加速库双方各自的优点，进一步提高深度神经网络的推理速度。该方法首先在深度学习编译器中加入各种算子针对编译加速库的翻译方法，将各种算子自动转换为编译加速库可以识别的形式。其次提出一种在深度学习编译器中调用编译加速库的方法，实现通过编译加速库执行各种算子。然后在深度学习编译器算子优化阶段将优化效果与编译加速库进行比较，进行最优方案选择。最后提出一种深度学习编译器中结合编译加速库的代码生成方法，产生优化后的可执行代码，实现对深度神经网络的进一步优化。
-
公开(公告)号：CN112862111A
公开(公告)日：2021-05-28
申请号：CN202110450988.1
申请日：2021-04-26
IPC: G06N20/00
Abstract: 本发明涉及分布式计算系统领域，具体涉及一种加速分布式机器学习梯度汇聚的方法和装置，该装置包括：包括梯度汇聚器和与梯度汇聚器连接的工作节点，所述工作节点用于提供梯度数据至梯度汇聚器和接收梯度汇聚器的返还数据；所述梯度汇聚器，包括：输入接口和输入队列模块、接收仲裁模块、解析查找模块、输出队列模块、聚合模块、存储器、输出接口模块和配置接口模块，其中的聚合模块包括：控制模块、解析模块、梯度数据块信息表、梯度数据块缓存器、计算模块和网络组包输出模块。本发明支持大型机器学习模型的训练，存储器可以存储大量梯度数据，同时所需要的缓存空间可以很小，降低了系统缓存的要求，提高了系统整体性能。
-
Patent Agency Ranking
公开(公告)号：CN112598129A
公开(公告)日：2021-04-02
申请号：CN202110236303.3
申请日：2021-03-03
IPC: G06N3/08
Abstract: 本发明提出了一种基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架，该剪枝和映射框架包括DDPG代理器和ReRAM神经网络加速器；所述DDPG代理器由行为决策模块Actor和评判模块Critic组成，其中，行为决策模块Actor用于对神经网络做出剪枝决策；ReRAM神经网络加速器用于映射行为决策模块Actor产生的剪枝决策下形成的模型，并将此剪枝决策下的模型映射的性能参数作为信号反馈给评判模块Critic；所述性能参数包括模拟器的能耗、延迟和模型准确率；评判模块Critic根据反馈的性能参数更新奖励函数值，并指导行为决策模块Actor下一阶段的剪枝决策；本发明方法利用强化学习DDPG代理来做出与硬件和用户需求最匹配、最高效的剪枝方案，在保证准确率的同时，提升了硬件上延迟性能和能耗性能。
-
公开(公告)号：CN112579063A
公开(公告)日：2021-03-30
申请号：CN202110223874.3
申请日：2021-03-01
Applicant: 之江实验室
Abstract: 本发明公开了一种用于深度学习编译器中探索优化空间的加速方法，目的是通过编译技术优化神经网络效果，并大幅减少编译器探索算子优化空间的耗时。该方法首先将神经网络抽象成计算图的形式。其次对计算图进行图优化，并为优化后计算图中的每个算子定义优化空间。然后基于包含优化空间信息的算子，提出一种优化空间相似度计算方法。最后提出一种基于相似度的算子状态空间探索方法，基于相似度对算子进行聚类，对每一个聚类中的核心算子进行全空间探索，同类的其余算子在核心算子最优方案中进行探索，确定整个神经网络每个算子的优化方案。
-
公开(公告)号：CN111459552B
公开(公告)日：2020-10-13
申请号：CN202010545142.1
申请日：2020-06-16
Applicant: 之江实验室
Abstract: 本发明公开了一种并行化存内计算的方法及装置，该方法利用现有DRAM内存存储电路的充放电特性实现了并行化的加法计算，并且通过优化数据存储及计算流程，进一步提高了数据并行计算的效率。本发明使得数据存储与计算都可以在DRAM中实现，可大大地缓解内存墙问题，同时不需要依赖新型非易失存储器件，可降低内存计算的复杂度和成本。
-
公开(公告)号：CN111459552A
公开(公告)日：2020-07-28
申请号：CN202010545142.1
申请日：2020-06-16
Applicant: 之江实验室
Abstract: 本发明公开了一种并行化存内计算的方法及装置，该方法利用现有DRAM内存存储电路的充放电特性实现了并行化的加法计算，并且通过优化数据存储及计算流程，进一步提高了数据并行计算的效率。本发明使得数据存储与计算都可以在DRAM中实现，可大大地缓解内存墙问题，同时不需要依赖新型非易失存储器件，可降低内存计算的复杂度和成本。
-
公开(公告)号：CN119179581B
公开(公告)日：2025-04-15
申请号：CN202411684883.2
申请日：2024-11-22
Applicant: 之江实验室
IPC: G06F9/50 , G06F16/182 , G06F3/06 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种存储资源调度方法、装置、存储介质及电子设备，可以通过预先构建的包含有多级分层的数据存储系统，执行针对目标模型的训练任务，并在执行针对目标模型的训练任务的过程中，可以基于预先确定的不同训练样本的数据质量参数，以及目标模型在不同的训练周期的不同的状态参数下对数据质量不同的训练样本数据的需求，对设置于不同分层中的不同异构存储资源进行调度管理，以提升水平方向的数据存取效率，从而可以从横纵两方面全面提升数据的存取效率，进而可以提升模型的训练效率。
-
-
-
-
-
-
-
-
-
Search Results
60
records
(took 0.029 seconds)
