公开(公告)号：CN116155750B

公开(公告)日：2023-08-01

申请号：CN202310417880.1

申请日：2023-04-19

Applicant: 之江实验室

Inventor： 李勇 ,  赵来平 ,  毛泽政 ,  程稳 ,  陈光 ,  曾令仿

IPC: H04L41/14

Abstract: 本申请涉及一种深度学习作业资源放置方法、系统、设备和存储介质，其中，该方法包括：获取待放置的训练作业以及相应的优先级；基于优先级的顺序，依次根据训练作业的需求资源量，选择作业放置的网络结构；网络结构包括服务器、顶端交换机、容器组集合Podset以及主干层交换机；基于选择的网络结构，将训练过程中网络数据传输量作为优化目标进行最小化优化，得到相应的作业放置方案。通过本申请，能够以训练过程中网络数据传输量作为优化目标，针对训练作业选择放置的不同网络结构，得到相应的作业放置方案，有效减少网络中数据传输来提高集群中资源利用率，解决了统一的训练作业资源放置导致资源利用率低下的问题。

公开(公告)号：CN116384321A

公开(公告)日：2023-07-04

申请号：CN202310384336.1

申请日：2023-04-11

Applicant: 之江实验室

Inventor： 陈晨 ,  张莹 ,  戴雨洋 ,  刘懿 ,  程稳 ,  李勇 ,  陈光 ,  曾令仿

IPC: G06F30/394 ,  G06F30/392 ,  G06F30/398 ,  G06F30/27 ,  G06N3/048 ,  G06N3/092

Abstract: 一种基于深度强化学习的2.5D总体布线方法，包含：步骤1：压缩，将3D总体布线问题压缩为2D总体布线问题；步骤2：数据预处理，包括将多引脚线网按半周长模型升序排序，然后基于直角Steiner最小树算法做拆解，线网拆解的子网再排序。步骤3：基于深度强化学习针对步骤2获得的两引脚对数据点对点布线，获得2D的总体布线方案，若布线方案有溢出，输出拥塞信息；否则执行步骤4。步骤4：通过直角结构层分配技术基于2D的总体布线方案获得3D的总体布线方案。本发明还包括一种基于深度强化学习的2.5D总体布线系统。本发明将多层总体布线问题压缩后基于深度强化学习进行求解，再利用层分配技术获得3D总体布线方案，有效降低算力成本并提高总体布线性能。

公开(公告)号：CN116360790A

公开(公告)日：2023-06-30

申请号：CN202310274453.2

申请日：2023-03-15

Applicant: 之江实验室

Inventor： 李勇 ,  吴震宇 ,  程稳 ,  陈光 ,  朱世强 ,  程永利 ,  曾令仿 ,  刘懿 ,  黄章敏 ,  杨贺淞

IPC: G06F8/41 ,  G06F9/455

Abstract: 本申请涉及一种基于虚拟机的代码编译方法、装置及执行方法、装置，其中，该基于虚拟机的代码编译方法包括：通过获取字节码中的代码块，判断代码块是否属于热点函数，若是，通过启发式编译对代码块进行编译获得第一代码；通过机器学习对代码块进行编译获得第二代码；对第一代码和第二代码进行性能评估，获得第三代码；将第三代码编译为本地代码；并将本地代码存储在预设寄存器中。通过本申请，解决了相关技术中存在传统的JIT编译方案通过解释执行的方式运行速度慢的问题，减少常用编译的代码块的反复执行的次数，省去了大量的调用和重新解释的过程，并且存放在寄存器中更可以提高执行速度，节省时间。

公开(公告)号：CN116303974A

公开(公告)日：2023-06-23

申请号：CN202310486966.X

申请日：2023-05-04

Applicant: 之江实验室

Inventor： 费军波 ,  张丽颖 ,  张云云 ,  张莹 ,  曾令仿 ,  陈光 ,  程稳

IPC: G06F16/332 ,  G06F40/35 ,  G06F18/214 ,  G06N20/20

Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中，该方法包括：基于教育设备中的提示数据集，训练得到初始生成式提示语言模型和初始生成式回应语言模型；并利用评分模型对二者的预测结果进行评分；基于对评分值的加权计算结果，通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型，得到目标生成式回应语言模型；将教育设备采集的待测文本数据输入目标生成式回应语言模型，目标生成式回应语言模型将待测文本数据与对话数据进行拼接，得到相应的回应。采用本方法能生成多样的新提示，并加强生成式提示语言模型和生成式回应语言模型之间的交互，从而进一步改善生成式语言模型的意料外行为问题。

公开(公告)号：CN116204324A

公开(公告)日：2023-06-02

申请号：CN202310345473.4

申请日：2023-03-29

Applicant: 之江实验室

Inventor： 曾令仿 ,  陈志广 ,  程稳 ,  李勇 ,  陈光

IPC: G06F9/50 ,  H04L67/10 ,  G06N3/098

Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括：确定目标模型中的每个网络层对应的计算任务各计算设备对应的设备信息，针对每个网络层，根据执行该网络层对应计算任务时涉及的计算次数以及各计算设备的设备信息，确定通过各计算设备执行该网络层对应计算任务时所需的计算时长，根据计算时长、上一个网络层对应的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种，确定该网络层对应的目标设备，在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行计算任务。

公开(公告)号：CN116069512A

公开(公告)日：2023-05-05

申请号：CN202310286991.3

申请日：2023-03-23

Applicant: 之江实验室

Inventor： 李勇 ,  赵来平 ,  张环禹 ,  陈光 ,  曾令仿 ,  程稳

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。

公开(公告)号：CN119294274A

公开(公告)日：2025-01-10

申请号：CN202411832029.6

申请日：2024-12-12

Applicant: 之江实验室

Inventor： 侯瑞峥 ,  程稳 ,  崔钰 ,  刘懿 ,  吕波 ,  曾令仿

IPC: G06F30/27 ,  G06N20/00 ,  G06F111/04

Abstract: 本说明书公开了一种深度学习加速器软硬件协同方法及装置，在此方法中，通过软件优化器基于初始硬件参数配置样本，确定候选模型运行信息后，通过硬件优化器，基于候选模型运行信息对应的任务效率表征值，确定下轮迭代的初始硬件参数配置样本，若监测到到达预设轮次后前后两轮所对应的初始硬件参数配置样本对应的任务效率表征值之间的偏差小于预设偏差，则将满足预设迭代条件时得到的初始硬件参数配置样本，作为目标硬件参数配置，以及将软件优化器基于目标硬件参数配置所确定的候选模型运行信息对应的候选模型运行方式，作为目标模型运行方式。通过多轮迭代对软件和硬件不断进行协同配置，以实现针对给定模型集合的最优加速器规格参数。

公开(公告)号：CN118313429B

公开(公告)日：2024-10-11

申请号：CN202410763197.8

申请日：2024-06-13

Applicant: 之江实验室

Inventor： 费军波 ,  胡陈枢 ,  曾令仿 ,  梅飞 ,  程稳

IPC: G06N3/08 ,  G06F11/14 ,  G06N3/04

Abstract: 本申请涉及一种模型训练显存优化方法、装置、电子装置和存储介质，其中，该模型训练显存优化方法包括：获取模型原始参数，将模型原始参数进行备份，得到备份参数；根据模型结构确定候选暂退的模型连接；对候选暂退的模型连接不分配显存，并为除候选暂退的模型连接之外的其他模型连接分配显存；执行循环训练过程直至达到预设的训练终止条件，得到目标训练模型；循环训练过程包括：根据预设的暂退比例，对候选暂退的模型连接进行随机暂退后，得到目标连接；根据目标连接，从备份参数中复制参数进行半精度训练，得到半精度参数梯度；根据半精度参数梯度更新备份参数，提高了模型训练中显存的利用率和训练速度。

公开(公告)号：CN118377436A

公开(公告)日：2024-07-23

申请号：CN202410821445.X

申请日：2024-06-24

Applicant: 之江实验室

Inventor： 刘懿 ,  程稳 ,  刘晓宇 ,  曾令仿 ,  李勇 ,  梅飞 ,  崔钰 ,  朱春节 ,  孔丽娟

IPC: G06F3/06 ,  G06F21/62 ,  G06F21/60 ,  G06F11/10

Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。

公开(公告)号：CN118334278A

公开(公告)日：2024-07-12

申请号：CN202410779806.9

申请日：2024-06-17

Applicant: 之江实验室

Inventor： 胡陈枢 ,  费军波 ,  刘晓宇 ,  曾令仿 ,  王鹏程 ,  朱健 ,  韩珂 ,  黄章敏 ,  程稳

IPC: G06T17/20

Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中，针对三维空间的每个维度，按照该维度的坐标大小，依次针对该维度的每个网格截面，确定该网格截面中标记网格的数量，与前一网格截面中标记网格的数量之间的差值，并通过预设范围，确定该维度的划分面，进而基于确定出的各划分面，得到该三维空间的划分结果，即基于点云数据所在标记网格的分布，实现了三维空间的划分，避免了相邻点云数据所在的标记网格被划分到不同三维子空间中，从而提高了基于该划分结果下的点云数据，通过预测模型，确定目标预测结果的预测效率。