-
公开(公告)号：CN116185307A
公开(公告)日：2023-05-30
申请号：CN202310448220.X
申请日：2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括：接收模型数据的存储请求并获取模型数据，确定所述模型数据的属性信息，根据所述属性信息，确定所述模型数据对应的存储位置，若所述存储位置位于所述AI加速器的本地存储单元，则确定与所述属性信息相匹配的压缩方式，作为目标压缩方式，通过所述目标压缩方式对所述模型数据进行压缩，并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置，以及若所述存储位置位于所述AI加速器的远端存储单元，则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
公开(公告)号：CN118590497B
公开(公告)日：2024-10-11
申请号：CN202411058898.8
申请日：2024-08-02
Applicant: 之江实验室
IPC: H04L67/104 , H04L67/1074 , H04L67/1095 , H04L67/1097 , H04L67/2866
Abstract: 本说明书提供一种基于异构通信的全归约通信方法及装置，计算节点确定待传输的待归约数据，通过与计算节点所在计算集群中其他节点间的通信链路，与其他节点进行通信，以获得计算节点的待归约数据和其他节点的待归约数据进行归约运算并均匀分配后的归约散射数据。根据计算节点的归约散射数据，同步执行第一通信过程和第二通信过程，直至计算节点获得将计算节点与其他节点的待归约数据进行全归约通信后的最终数据，所述第一通信包括：根据计算节点的归约散射数据，计算节点与各第一其他节点进行第一收集通信；所述第二通信包括：根据计算节点的归约散射数据，计算节点与各第二其他节点进行第二收集通信。
-
公开(公告)号：CN116881618B
公开(公告)日：2024-06-04
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN117909746A
公开(公告)日：2024-04-19
申请号：CN202410322521.2
申请日：2024-03-20
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20
Abstract: 本说明书公开了一种用于空间探索的代理模型的在线数据选择方法，可以获取训练样本集，首先确定出训练样本集中样本的实际排序结果，在每一轮迭代训练前，通过上一轮得到的代理模型对训练样本集中的各样本进行排序，得到一个排序结果，通过实际排序结果确定出子数据集A和子数据集C，以及通过另一种排序结果，确定出子数据集B。根据子数据集A、B、C，对代理模型进行每一轮训练，训练完成后的代理模型可以对给出的若干待排序数据进行排序，本方法重点考虑排序高的空间点的数据拟合能力，并提供了一种高排序点和全空间点之间权衡的可控调节机制，从而提高了空间探索准确性，且由于提高了对高排序点的预测准确性，提高了探索的空间采样效率。
-
公开(公告)号：CN117035123B
公开(公告)日：2024-01-09
申请号：CN202311298503.7
申请日：2023-10-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备，所述方法应用于模型并行训练，所述模型被切分为不同的运算模块，各运算模块分别部署于不同的计算节点中，针对任一计算节点，该方法包括：根据训练样本及部署于该计算节点上的运算模块，得到待同步激活值；根据该待同步激活值与预存的输出激活值，得到输出激活值增量；对该输出激活值增量进行量化，得到量化激活值增量；将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求，提升模型的训练性能。(56)对比文件王国生.基于忆阻器的脉冲神经网络关键技术研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第2022年卷(第4期),I135-377.Richard Liaw等.Tune: A ResearchPlatform for Distributed Model Selectionand Training《.Arxiv》.2018,1-8.Dominic Masters等.Revisiting SmallBatch Training for Deep Neural Networks.《Arxiv》.2018,1-18.
-
Patent Agency Ranking
公开(公告)号：CN116991986B
公开(公告)日：2024-01-09
申请号：CN202311269260.4
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F16/33 , G06F16/35 , G06F18/214 , G06F18/23213
Abstract: 本申请涉及一种语言模型轻量化方法、装置、计算机设备和存储介质。所述方法包括：对初始语言模型的注意力层的可学习参数进行聚类，得到可学习参数的分区；对各个分区进行组合，得到初始语言模型的所有裁剪方式；基于初始语言模型的注意力层的各个功能在各个裁剪方式下的波动率，得到各个功能的对应分区；剔除或量化与待处理的任务所对应的功能相关性低的可学习参数，得到待训练的语言模型的可学习参数；基于待训练的语言模型的可学习参数，利用梯度下降法对可学习参数进行训练，直到收敛，得到完备的轻量化语言模型。采用本方法能够解决了现有的语言模型无法利用较少的计算资源来实现高精度的任务处理的问题。
-
公开(公告)号：CN116896532A
公开(公告)日：2023-10-17
申请号：CN202310902761.5
申请日：2023-07-21
Applicant: 之江实验室
IPC: H04L47/12 , H04L69/163 , H04L43/0882
Abstract: 本发明公开了一种面向最小带宽保障的网络拥塞控制方法，所述方法包括以下步骤：(1)区分网络流的类型，所述类型包括截止时间流和非截止时间流；(2)根据网络流的类型设置最小窗口值；(3)在拥塞控制的各阶段调节拥塞窗口时，根据最小窗口值和拥塞程度对拥塞窗口值进行调整。本本发明还公开了一种面向最小带宽保障的网络拥塞控制装置及计算机可读存储介质，用于实现上述面向最小带宽保障的网络拥塞控制方法。发明通过区分时间截止流和非截止时间流，保障TCP截止流最小带宽，也能达到拥塞控制的目的。
-
公开(公告)号：CN116756293A
公开(公告)日：2023-09-15
申请号：CN202311010104.6
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/289 , G06F18/214 , G06F40/211 , G06F40/30 , G06F18/23
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，预先将文本对话生成模型的一次迭代训练过程划分为若干训练阶段，针对该文本对话生成模型的每个训练阶段，获取用于完成该训练阶段的各文本特征，作为当前文本特征，根据各当前文本特征及预设的该训练阶段的精度需求，对各当前文本特征进行聚类，得到聚类后的文本特征，对该聚类后的文本特征进行稀疏处理，得到稀疏后的文本特征，根据该稀疏后的文本特征，执行该训练阶段的训练。本方法通过将模型一次迭代过程分为多个阶段，并根据各阶段的精度需求，对文本特征进行聚类，再稀疏聚类后的文本特征，以根据稀疏聚类后的文本特征对文本对话生成模型进行训练。
-
公开(公告)号：CN117649568B
公开(公告)日：2024-05-03
申请号：CN202410128337.4
申请日：2024-01-30
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/762 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/082
Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中，通过获取训练完成的图像分类卷积神经网络以及输入图像，将输入图像输入该图像分类卷积神经网络中，确定各节点的参数以及各节点输出的该输入图像的激活特征，针对每一网络层，根据该网络层的各节点的参数和激活特征，确定核心参数和核心激活特征，并得到参数聚类结果和激活特征聚类结果，进而确定综合聚类结果，根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果，确定综合聚类结果，综合考虑了图像分类卷积神经网络的参数相似性和激活模式，考虑更全面，有效地减少了图像分类卷积神经网络的复杂性。
-
公开(公告)号：CN117032936A
公开(公告)日：2023-11-10
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。
-
-
-
-
-
-
-
-
-
Search Results
35
records
(took 0.024 seconds)
