公开(公告)号：CN117035123A

公开(公告)日：2023-11-10

申请号：CN202311298503.7

申请日：2023-10-09

Applicant: 之江实验室

Inventor： 施林锋 ,  吴运翔 ,  常璟飞 ,  蒋科 ,  程稳 ,  吴洵进

IPC: G06N20/00 ,  H04W72/04

Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备，所述方法应用于模型并行训练，所述模型被切分为不同的运算模块，各运算模块分别部署于不同的计算节点中，针对任一计算节点，该方法包括：根据训练样本及部署于该计算节点上的运算模块，得到待同步激活值；根据该待同步激活值与预存的输出激活值，得到输出激活值增量；对该输出激活值增量进行量化，得到量化激活值增量；将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求，提升模型的训练性能。

公开(公告)号：CN116992032A

公开(公告)日：2023-11-03

申请号：CN202311235665.6

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 蒋科 ,  吴运翔 ,  常璟飞 ,  吴洵进 ,  施林锋 ,  王博 ,  程稳 ,  曾令仿 ,  陈光

IPC: G06F16/35 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质，其中，上述方法包括：基于文本特征数据，得到初始神经网络；获取初始神经网络在目标卷积层的输入值和输出值；根据输入值，获取第一激活值；根据转移因子、第一激活值和第一权重值得到平滑系数；根据平滑系数，得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合，进而得到目标平滑系数；根据目标平滑系数对应得到目标神经网络模型，用于对待分类文本数据进行分类。通过本申请，解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差，导致文本分类的准确度较低问题，提高了文本分类的准确度。

公开(公告)号：CN116188878A

公开(公告)日：2023-05-30

申请号：CN202310450659.6

申请日：2023-04-25

Applicant: 之江实验室

Inventor： 常璟飞 ,  曾令仿 ,  李勇 ,  程稳 ,  蒋科 ,  吴洵进 ,  陈光 ,  朱健 ,  王鹏程

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06V10/776 ,  G06N3/0464 ,  G06N3/082

Abstract: 本申请涉及一种基于神经网络结构微调的图像分类方法、装置和存储介质，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，所述方法包括：基于图像数据集的训练集和验证集，获取待剪枝神经网络各特征图的最小绝对偏差，从而确定各特征图的剪枝阈值对特征图进行剪枝，得到剪枝结构；量化剪枝结构，获取量化后剪枝结构的图像分类精度的损失值；基于损失值和剪枝结构的最大迭代周期，对剪枝结构进行微调，得到图像分类特征模型；最后将待测图像输入图像分类特征模型得到分类结果，实现图像分类神经网络模型剪枝范围的自适应调整和对剪枝模型的结构微调量化，提高利用显著压缩的图像分类特征模型进行图像分类处理的分类精度和速度。