公开(公告)号：CN118313429A

公开(公告)日：2024-07-09

申请号：CN202410763197.8

申请日：2024-06-13

Applicant: 之江实验室

Inventor： 费军波 ,  胡陈枢 ,  曾令仿 ,  梅飞 ,  程稳

IPC: G06N3/08 ,  G06F11/14 ,  G06N3/04

Abstract: 本申请涉及一种模型训练显存优化方法、装置、电子装置和存储介质，其中，该模型训练显存优化方法包括：获取模型原始参数，将模型原始参数进行备份，得到备份参数；根据模型结构确定候选暂退的模型连接；对候选暂退的模型连接不分配显存，并为除候选暂退的模型连接之外的其他模型连接分配显存；执行循环训练过程直至达到预设的训练终止条件，得到目标训练模型；循环训练过程包括：根据预设的暂退比例，对候选暂退的模型连接进行随机暂退后，得到目标连接；根据目标连接，从备份参数中复制参数进行半精度训练，得到半精度参数梯度；根据半精度参数梯度更新备份参数，提高了模型训练中显存的利用率和训练速度。

公开(公告)号：CN117649568B

公开(公告)日：2024-05-03

申请号：CN202410128337.4

申请日：2024-01-30

Applicant: 之江实验室

Inventor： 常璟飞 ,  吴运翔 ,  蒋科 ,  施林锋 ,  王博 ,  吴洵进 ,  程稳 ,  吕波 ,  曾令仿 ,  李勇

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/082

Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中，通过获取训练完成的图像分类卷积神经网络以及输入图像，将输入图像输入该图像分类卷积神经网络中，确定各节点的参数以及各节点输出的该输入图像的激活特征，针对每一网络层，根据该网络层的各节点的参数和激活特征，确定核心参数和核心激活特征，并得到参数聚类结果和激活特征聚类结果，进而确定综合聚类结果，根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果，确定综合聚类结果，综合考虑了图像分类卷积神经网络的参数相似性和激活模式，考虑更全面，有效地减少了图像分类卷积神经网络的复杂性。

公开(公告)号：CN117666968A

公开(公告)日：2024-03-08

申请号：CN202311759362.4

申请日：2023-12-20

Applicant: 之江实验室

Inventor： 曾令仿 ,  毛波 ,  吴素贞 ,  陈逸飞 ,  杜春锋 ,  陈光 ,  李勇 ,  程稳

IPC: G06F3/06

Abstract: 本发明公开了一种固态盘存储系统的选择性数据压缩方法及装置，该方法是在固态盘存储系统上设置压缩位图表和三个功能模块：负载监测模块、数据压缩模块和数据解压缩模块，由请求类型判断步骤、数据的压缩写入步骤和数据的解压缩读取步骤组成。根据系统的当前负载和CPU计算资源状态，该方法充分利用存储系统中数据的冗余特性和固态盘的闪存介质特性，通过利用动态的数据压缩技术减少冗余信息，减少写入数据量，以此缓解固态盘读写性能不对称的问题，同时提升固态盘的空间利用率和可靠性。

公开(公告)号：CN116663618B

公开(公告)日：2023-12-05

申请号：CN202310941263.1

申请日：2023-07-28

Applicant: 之江实验室

Inventor： 王鹏程 ,  吕波 ,  孙红江 ,  陈晨 ,  李勇 ,  胡陈枢 ,  曾令仿 ,  陈光 ,  程稳

IPC: G06N3/0464 ,  G06N3/063

Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中，获取目标神经网络模型，并确定目标神经网络模型的计算图；针对计算图中每个算子，确定包含该算子所有可行解的搜索空间；在搜索空间中选择若干可行解作为候选解，确定各候选解的评估值，并将评估值最高的作为待定解；确定目标硬件运行待定解的运行时间，并增加迭代次数；当运行时间小于当前最优时间或不存在当前最优时间时，将运行时间确定为当前最优时间，并将待定解确定为当前最优解；当迭代次数小于指定次数时，重新在该算子的搜索空间中选择指定数量个未被选择过的候选解；当迭代次数不小于指定次数时，将当前最优解确定为该

公开(公告)号：CN116737607B

公开(公告)日：2023-11-21

申请号：CN202311029639.8

申请日：2023-08-16

Applicant: 之江实验室

Inventor： 韩珂 ,  李勇 ,  曾令仿 ,  陈光 ,  吴运翔 ,  程稳

IPC: G06F12/0875 ,  G06F12/0888 ,  G06F12/0895 ,  G06N3/084 ,  G06N3/047 ,  G06N3/048 ,  G06V10/94 ,  G06V10/774 ,  G06V10/82

公开(公告)号：CN117077817A

公开(公告)日：2023-11-17

申请号：CN202311328295.0

申请日：2023-10-13

Applicant: 之江实验室

Inventor： 黄章敏 ,  孙辰晨 ,  戴雨洋 ,  程稳 ,  李勇 ,  曾令仿

IPC: G06N20/00 ,  G06N3/098 ,  G06F18/214 ,  G06F18/23213 ,  G06F18/25 ,  G06F18/22

Abstract: 本说明书公开了一种基于标签分布的个性化联邦学习模型训练方法及装置。所述任务执行方法包括：根据获取到的目标模型的初始化模型参数，针对每个客户端，将初始化模型参数发送给该客户端，以使该客户端在本地部署待训练模型，并通过该客户端的本地数据，对待训练模型进行训练，并获取各客户端训练更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布，以得到每个客户端对应的客户端簇。针对每个客户端，融合该客户端对应的客户端簇中包含的各客户端发送的更新后的模型参数，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。

公开(公告)号：CN116755893B

公开(公告)日：2023-11-17

申请号：CN202311056655.6

申请日：2023-08-22

Applicant: 之江实验室

Inventor： 胡学典 ,  吴运翔 ,  王博 ,  施林锋 ,  李勇 ,  程稳 ,  刘懿 ,  陈光 ,  曾令仿

IPC: G06F9/50 ,  G06F16/2457 ,  G06F16/2455 ,  G06N3/08

Abstract: 面向深度学习的分布式计算系统的作业调度方法和装置，包括：获取用户输入的作业信息，并存储在数据库中，作业信息包括作业优先级等，并根据作业信息维护一个作业优先级队列；获取集群中各节点的缓存信息；响应于接收到发起作业执行的请求，作业执行根据所述的优先级队列先后顺序执行，将所述作业调度到相应主机节点上执行，执行的结果存储到数据库中；响应于接收到模型更新作业的请求，在所述数据库中查询所述作业所需的数据，计算作业剩余结束时间，并将计算结果保存到数据库中；响应与接收到更新所述队列请求，在所述数据库中查询所需的数据，并根据所述数据更新所述队列。本发明较少依赖用户输入信息，有效提高作业执行时间预测精度。

公开(公告)号：CN117032936A

公开(公告)日：2023-11-10

申请号：CN202311267177.3

申请日：2023-09-28

Applicant: 之江实验室

Inventor： 杨贺淞 ,  孙红江 ,  陈晨 ,  滕会刚 ,  范文杰 ,  胡学典 ,  韩珂 ,  常璟飞 ,  蒋科 ,  王鹏程 ,  陈自强 ,  李勇 ,  曾令仿 ,  陈光 ,  程稳

IPC: G06F9/48 ,  G06F9/50 ,  G06F18/214 ,  G06N3/006

Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。

公开(公告)号：CN116992875A

公开(公告)日：2023-11-03

申请号：CN202311263225.1

申请日：2023-09-27

Applicant: 之江实验室

Inventor： 费军波 ,  张丽颖 ,  朱健 ,  曾令仿 ,  程稳 ,  陈光

IPC: G06F40/289 ,  G06F40/30 ,  G06N20/00

Abstract: 本申请涉及一种文本生成方法、装置、计算机设备和存储介质。所述方法包括：基于关键词数据集训练初始文本生成模型，所述关键词数据集包括参考关键词以及参考文本，将所述参考关键词输入所述初始文本生成模型，得到初始模型生成文本，将所述初始模型生成文本以及初始拼接文本作为关键词中文对比数据集，基于所述关键词中文对比数据集和标准中文对比数据集训练文本生成奖励模型，基于所述初始文本生成模型和文本生成奖励模型确定目标文本生成模型，将候选关键词输入所述目标文本生成模型，得到目标生成文本。不仅保证了关键词一定出现在生成文本中，还提高了生成文本的语义准确性。

公开(公告)号：CN116991986A

公开(公告)日：2023-11-03

申请号：CN202311269260.4

申请日：2023-09-28

Applicant: 之江实验室

Inventor： 张丽颖 ,  费军波 ,  常璟飞 ,  朱健 ,  曾令仿 ,  陈光 ,  程稳

IPC: G06F16/33 ,  G06F16/35 ,  G06F18/214 ,  G06F18/23213

Abstract: 本申请涉及一种语言模型轻量化方法、装置、计算机设备和存储介质。所述方法包括：对初始语言模型的注意力层的可学习参数进行聚类，得到可学习参数的分区；对各个分区进行组合，得到初始语言模型的所有裁剪方式；基于初始语言模型的注意力层的各个功能在各个裁剪方式下的波动率，得到各个功能的对应分区；剔除或量化与待处理的任务所对应的功能相关性低的可学习参数，得到待训练的语言模型的可学习参数；基于待训练的语言模型的可学习参数，利用梯度下降法对可学习参数进行训练，直到收敛，得到完备的轻量化语言模型。采用本方法能够解决了现有的语言模型无法利用较少的计算资源来实现高精度的任务处理的问题。