公开(公告)号：CN116991986A

公开(公告)日：2023-11-03

申请号：CN202311269260.4

申请日：2023-09-28

Applicant: 之江实验室

Inventor： 张丽颖 ,  费军波 ,  常璟飞 ,  朱健 ,  曾令仿 ,  陈光 ,  程稳

IPC: G06F16/33 ,  G06F16/35 ,  G06F18/214 ,  G06F18/23213

Abstract: 本申请涉及一种语言模型轻量化方法、装置、计算机设备和存储介质。所述方法包括：对初始语言模型的注意力层的可学习参数进行聚类，得到可学习参数的分区；对各个分区进行组合，得到初始语言模型的所有裁剪方式；基于初始语言模型的注意力层的各个功能在各个裁剪方式下的波动率，得到各个功能的对应分区；剔除或量化与待处理的任务所对应的功能相关性低的可学习参数，得到待训练的语言模型的可学习参数；基于待训练的语言模型的可学习参数，利用梯度下降法对可学习参数进行训练，直到收敛，得到完备的轻量化语言模型。采用本方法能够解决了现有的语言模型无法利用较少的计算资源来实现高精度的任务处理的问题。

公开(公告)号：CN116777010A

公开(公告)日：2023-09-19

申请号：CN202311080508.2

申请日：2023-08-25

Applicant: 之江实验室

Inventor： 胡陈枢 ,  王鹏程 ,  陈晨 ,  戴雨洋 ,  吕波 ,  程稳 ,  朱健 ,  侯瑞峥 ,  常璟飞 ,  徐鸿博 ,  曾令仿 ,  陈光

IPC: G06N20/00

Abstract: 本说明书公开了一种模型训练的方法以及任务执行方法及装置，可以将获取到的在指定空间中混合物态在第一时刻下的各物理场数据输入到预测模型中，来训练该预测模型，这样一来，在将训练后的预测模型应用到实际任务执行的过程中时，相比于现有技术并不需要耗费过多的时间来一步步推导出下一时刻的指定空间中混合物态在第二时刻下的各物理场数据，这样不仅提高了预测物理场数据的效率，而且由于在训练阶段，是以混合物态在第一时刻和第二时刻前后之间的质量分布符合质量约束为条件，对预测模型进行训练，所以可以保证预测模型在实际应用中所预测出的物理场数据的准确性。

公开(公告)号：CN116301904B

公开(公告)日：2023-08-22

申请号：CN202310559970.4

申请日：2023-05-18

Applicant: 之江实验室

Inventor： 王鹏程 ,  李勇 ,  陈自强 ,  曾令仿 ,  陈光 ,  程稳 ,  吕波 ,  胡陈枢 ,  常璟飞

IPC: G06F8/41 ,  G06N3/006 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明公开了一种用于深度学习编译器的算子优化加速方法及装置，目的是减少算子优化空间的搜索时间。该方法首先将神经网络抽象成计算图的形式，再对计算图进行图优化，并为优化后的计算图中的每个算子定义优化空间。然后以LightGBM为代价模型，粒子群优化算法为搜索算法对优化空间进行搜索。在每轮搜索中，对搜索算法输出的候选解采用DBSCAN进行聚类和采样，减少在硬件上的实测次数，进一步提升搜索效率。

公开(公告)号：CN116185307B

公开(公告)日：2023-07-04

申请号：CN202310448220.X

申请日：2023-04-24

Applicant: 之江实验室

Inventor： 程稳 ,  刘懿 ,  吕波 ,  李勇 ,  黄章敏 ,  崔钰 ,  朱健 ,  费军波 ,  常璟飞 ,  胡陈枢 ,  陈光 ,  曾令仿

IPC: G06F3/06 ,  G06N3/063

Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括：接收模型数据的存储请求并获取模型数据，确定所述模型数据的属性信息，根据所述属性信息，确定所述模型数据对应的存储位置，若所述存储位置位于所述AI加速器的本地存储单元，则确定与所述属性信息相匹配的压缩方式，作为目标压缩方式，通过所述目标压缩方式对所述模型数据进行压缩，并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置，以及若所述存储位置位于所述AI加速器的远端存储单元，则将所述模型数据存储在所述远端存储单元中的所述存储位置。

公开(公告)号：CN119883295A

公开(公告)日：2025-04-25

申请号：CN202510386144.3

申请日：2025-03-31

Applicant: 之江实验室

Inventor： 吕波 ,  崔钰 ,  时拓 ,  常璟飞 ,  胡陈枢

IPC: G06F8/60 ,  G06F8/41

Abstract: 本说明书公开了一种模型部署方法、装置、存储介质及电子设备。所述方法包括：获取针对业务模型的初始部署策略组，初始部署策略组包括两种部署策略；将初始部署策略组中各部署策略的特征编码输入预先训练的代理模型，确定各部署策略在处理设备上的性能分布信息；利用预设的标签分布调整输入其中的至少一项输入，在输出的性能分布信息与标签分布之间的差异满足设定要求的情况下，得到调整后的部署策略组；在调整后的部署策略组中确定目标部署策略，并基于目标部署策略对业务模型进行部署。本方案降低了对模型部署策略进行探索的时间损耗，提高了模型部署效率。

公开(公告)号：CN118590497A

公开(公告)日：2024-09-03

申请号：CN202411058898.8

申请日：2024-08-02

Applicant: 之江实验室

Inventor： 朱向明 ,  刘善赟 ,  常璟飞 ,  邹乔莎 ,  陈红阳

IPC: H04L67/104 ,  H04L67/1074 ,  H04L67/1095 ,  H04L67/1097 ,  H04L67/2866

Abstract: 本说明书提供一种基于异构通信的全归约通信方法及装置，计算节点确定待传输的待归约数据，通过与计算节点所在计算集群中其他节点间的通信链路，与其他节点进行通信，以获得计算节点的待归约数据和其他节点的待归约数据进行归约运算并均匀分配后的归约散射数据。根据计算节点的归约散射数据，同步执行第一通信过程和第二通信过程，直至计算节点获得将计算节点与其他节点的待归约数据进行全归约通信后的最终数据，所述第一通信包括：根据计算节点的归约散射数据，计算节点与各第一其他节点进行第一收集通信；所述第二通信包括：根据计算节点的归约散射数据，计算节点与各第二其他节点进行第二收集通信。

公开(公告)号：CN117649568A

公开(公告)日：2024-03-05

申请号：CN202410128337.4

申请日：2024-01-30

Applicant: 之江实验室

Inventor： 常璟飞 ,  吴运翔 ,  蒋科 ,  施林锋 ,  王博 ,  吴洵进 ,  程稳 ,  吕波 ,  曾令仿 ,  李勇

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/082

Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中，通过获取训练完成的图像分类卷积神经网络以及输入图像，将输入图像输入该图像分类卷积神经网络中，确定各节点的参数以及各节点输出的该输入图像的激活特征，针对每一网络层，根据该网络层的各节点的参数和激活特征，确定核心参数和核心激活特征，并得到参数聚类结果和激活特征聚类结果，进而确定综合聚类结果，根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果，确定综合聚类结果，综合考虑了图像分类卷积神经网络的参数相似性和激活模式，考虑更全面，有效地减少了图像分类卷积神经网络的复杂性。

公开(公告)号：CN117130693B

公开(公告)日：2024-02-13

申请号：CN202311397785.6

申请日：2023-10-26

Applicant: 之江实验室

Inventor： 李勇 ,  程稳 ,  刘懿 ,  吴运翔 ,  朱健 ,  吕波 ,  常璟飞 ,  黄章敏 ,  陈光 ,  曾令仿

IPC: G06F9/445 ,  G06F9/50

Abstract: 本申请涉及一种张量卸载方法、装置、计算机设备及存储介质。所述方法包括：获取张量特征信息，所述张量特征信息包括待训练模型每层的显存容量需求、计算间隔以及计算延迟信息；基于预设卸载策略和所述显存容量需求确定显存约束条件，基于所述预设卸载策略和计算间隔确定卸载时间约束条件，所述预设卸载策略包括主存卸载和重计算卸载；基于所述显存约束条件和卸载时间约束条件筛选所述预设卸载策略，确定多个候选卸载策略；基于所述计算延迟信息确定每个候选卸载策略的额外计算延迟，基于所述额外计算延迟确定目标卸载策略，并基于所述目(56)对比文件卢海峰;顾春华;罗飞;丁炜超;杨婷;郑帅.基于深度强化学习的移动边缘计算任务卸载研究.计算机研究与发展.2020,(第07期),全文.马玮良;彭轩;熊倩;石宣化;金海.深度学习中的内存管理问题研究综述.大数据.2020,(第04期),全文.

公开(公告)号：CN116992032B

公开(公告)日：2024-01-09

申请号：CN202311235665.6

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 蒋科 ,  吴运翔 ,  常璟飞 ,  吴洵进 ,  施林锋 ,  王博 ,  程稳 ,  曾令仿 ,  陈光

IPC: G06F16/35 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质，其中，上述方法包括：基于文本特征数据，得到初始神经网络；获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取第一激活值；根据转移因子、第一激活值和第一权重值得到平滑系数；根据平滑系数，得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合，进而得到目标平滑系数；根据目标平滑系数对应得到目标神经网络模型，用于对待分类文本数据进行分类。通过本申请，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。

公开(公告)号：CN117009534A

公开(公告)日：2023-11-07

申请号：CN202311281379.3

申请日：2023-10-07

Applicant: 之江实验室

Inventor： 吴洵进 ,  吴运翔 ,  常璟飞 ,  蒋科 ,  施林锋 ,  程稳

IPC: G06F16/35 ,  G06F40/289 ,  G06F40/216

Abstract: 本申请涉及一种文本分类方法、装置、计算机设备以及存储介质。所述方法包括：对文本分类数据集进行分词处理，确定目标语义单元序列；根据目标语义单元序列构建样本数据集；将有标签数据集分别输入学生模型和标签训练教师模型，确定第一学生预测数据和第一教师预测数据，并将无标签数据集分别输入学生模型和对抗训练教师模型，确定第二学生预测数据和第二教师预测数据；根据第一学生预测数据、第一教师预测数据、第二学生预测数据和第二教师预测数据对所述学生模型进行参数调整，确定文本分类模型；将待分类文本输入所述文本分类模型，根据文本分类模型的输出结果确定待分类文本的文本分类标签。上述方法提高了文本分类的准确性。