-
公开(公告)号：CN116756293A
公开(公告)日：2023-09-15
申请号：CN202311010104.6
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/289 , G06F18/214 , G06F40/211 , G06F40/30 , G06F18/23
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，预先将文本对话生成模型的一次迭代训练过程划分为若干训练阶段，针对该文本对话生成模型的每个训练阶段，获取用于完成该训练阶段的各文本特征，作为当前文本特征，根据各当前文本特征及预设的该训练阶段的精度需求，对各当前文本特征进行聚类，得到聚类后的文本特征，对该聚类后的文本特征进行稀疏处理，得到稀疏后的文本特征，根据该稀疏后的文本特征，执行该训练阶段的训练。本方法通过将模型一次迭代过程分为多个阶段，并根据各阶段的精度需求，对文本特征进行聚类，再稀疏聚类后的文本特征，以根据稀疏聚类后的文本特征对文本对话生成模型进行训练。
-
公开(公告)号：CN116258197B
公开(公告)日：2023-09-08
申请号：CN202310545694.6
申请日：2023-05-16
Applicant: 之江实验室
Abstract: 基于参数计算和通信调度的分布式训练加速方法，包括：根据反向传播算法各层梯度之间不存在依赖关系的特点，通过调整梯度计算顺序，优先计算模型靠前层的梯度，从而提早梯度的传输时间，使得下轮该层的前向传播过程能够更早开始；对于梯度传输过程，通过动态枚举梯度拆分或融合阈值，并结合实时运行情况来选择性能最优的方案。还包括一种基于参数计算和通信调度的分布式训练加速系统。本发明增加了计算和通信之间的覆盖度，提升了训练性能，且实现上简单灵活，能够快速适配不同的模型及训练环境。
-
公开(公告)号：CN116415103B
公开(公告)日：2023-09-05
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN116304720B
公开(公告)日：2023-08-25
申请号：CN202310564363.7
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
-
公开(公告)号：CN116225192B
公开(公告)日：2023-08-01
申请号：CN202310509059.2
申请日：2023-05-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备，本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合，针对每个策略组合，对各历史记录进行处理，确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围，作为该策略组合的适用条件。根据每个策略组合的适用条件，构建模型，并通过模型输出的目标策略组合控制散热系统。在此方法中，通过对各历史记录进行分析，确定出采用每个策略组合所适用的条件。当需要控制散热系统时，将当前散热系统和计算集群的状态信息与各条件进行匹配，以确定出匹配上的条件所对应的目标策略组合，以控制散热系统。
-
Patent Agency Ranking
公开(公告)号：CN116155750B
公开(公告)日：2023-08-01
申请号：CN202310417880.1
申请日：2023-04-19
Applicant: 之江实验室
IPC: H04L41/14
Abstract: 本申请涉及一种深度学习作业资源放置方法、系统、设备和存储介质，其中，该方法包括：获取待放置的训练作业以及相应的优先级；基于优先级的顺序，依次根据训练作业的需求资源量，选择作业放置的网络结构；网络结构包括服务器、顶端交换机、容器组集合Podset以及主干层交换机；基于选择的网络结构，将训练过程中网络数据传输量作为优化目标进行最小化优化，得到相应的作业放置方案。通过本申请，能够以训练过程中网络数据传输量作为优化目标，针对训练作业选择放置的不同网络结构，得到相应的作业放置方案，有效减少网络中数据传输来提高集群中资源利用率，解决了统一的训练作业资源放置导致资源利用率低下的问题。
-
公开(公告)号：CN116384321A
公开(公告)日：2023-07-04
申请号：CN202310384336.1
申请日：2023-04-11
Applicant: 之江实验室
IPC: G06F30/394 , G06F30/392 , G06F30/398 , G06F30/27 , G06N3/048 , G06N3/092
Abstract: 一种基于深度强化学习的2.5D总体布线方法，包含：步骤1：压缩，将3D总体布线问题压缩为2D总体布线问题；步骤2：数据预处理，包括将多引脚线网按半周长模型升序排序，然后基于直角Steiner最小树算法做拆解，线网拆解的子网再排序。步骤3：基于深度强化学习针对步骤2获得的两引脚对数据点对点布线，获得2D的总体布线方案，若布线方案有溢出，输出拥塞信息；否则执行步骤4。步骤4：通过直角结构层分配技术基于2D的总体布线方案获得3D的总体布线方案。本发明还包括一种基于深度强化学习的2.5D总体布线系统。本发明将多层总体布线问题压缩后基于深度强化学习进行求解，再利用层分配技术获得3D总体布线方案，有效降低算力成本并提高总体布线性能。
-
公开(公告)号：CN116360790A
公开(公告)日：2023-06-30
申请号：CN202310274453.2
申请日：2023-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种基于虚拟机的代码编译方法、装置及执行方法、装置，其中，该基于虚拟机的代码编译方法包括：通过获取字节码中的代码块，判断代码块是否属于热点函数，若是，通过启发式编译对代码块进行编译获得第一代码；通过机器学习对代码块进行编译获得第二代码；对第一代码和第二代码进行性能评估，获得第三代码；将第三代码编译为本地代码；并将本地代码存储在预设寄存器中。通过本申请，解决了相关技术中存在传统的JIT编译方案通过解释执行的方式运行速度慢的问题，减少常用编译的代码块的反复执行的次数，省去了大量的调用和重新解释的过程，并且存放在寄存器中更可以提高执行速度，节省时间。
-
公开(公告)号：CN116303974A
公开(公告)日：2023-06-23
申请号：CN202310486966.X
申请日：2023-05-04
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/35 , G06F18/214 , G06N20/20
Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中，该方法包括：基于教育设备中的提示数据集，训练得到初始生成式提示语言模型和初始生成式回应语言模型；并利用评分模型对二者的预测结果进行评分；基于对评分值的加权计算结果，通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型，得到目标生成式回应语言模型；将教育设备采集的待测文本数据输入目标生成式回应语言模型，目标生成式回应语言模型将待测文本数据与对话数据进行拼接，得到相应的回应。采用本方法能生成多样的新提示，并加强生成式提示语言模型和生成式回应语言模型之间的交互，从而进一步改善生成式语言模型的意料外行为问题。
-
公开(公告)号：CN115952008B
公开(公告)日：2023-06-16
申请号：CN202310247734.9
申请日：2023-03-15
Applicant: 之江实验室
Abstract: 本发明公开了一种服务器集群资源的统一调度方法和装置，该方法针对服务器资源调度的增量实时调度和全量碎片整理，合并简化了调度方法，实现了方法的复用；该方法包括以下步骤：获取当前时刻服务器集群状态的快照；根据快照，获取集群中的所有在运行的服务器集合，并根据优先级进行降序排列；依次遍历所排序的服务器集合，对每台服务器，通过弹射链和蒙特卡洛树搜索方法，依次判断所部署的容器是否可迁移至其它低优先级的服务器，并执行相应操作。本发明能获得完整的迁移路径和过程态，对服务器集群的资源进行整理，提高了资源的使用率，优化集群性能，降低功耗，助力实现数据中心的低碳节能、绿色环保的追求。
-
-
-
-
-
-
-
-
-
Search Results
273
records
(took 0.042 seconds)
