-
公开(公告)号：CN117075918B
公开(公告)日：2024-01-09
申请号：CN202311328294.6
申请日：2023-10-13
Applicant: 之江实验室
Abstract: 在一种模型部署方法、装置、存储介质及电子设备中，响应于待优化模型，生成计算逻辑单元以及对应的张量程序，并确定各所述计算逻辑单元对应的类型。然后，依次确定各计算逻辑单元之后计算逻辑单元为约束单元，根据该计算逻辑单元的张量程序以及约束单元的张量程序，确定数据排布优化转换方案。最后，将该计算逻辑单元的张量程序、约束单元的张量程序以及转换方案组合，得到候选策略，根据耗时从各候选策略中选择目标策略并根据目标策略并进行模型部署。通过获取全局最优部署策略，解决了优化后各层中间表示最优结果存在冲突的情况，提高了模型部署效率。
-
公开(公告)号：CN116304720B
公开(公告)日：2023-08-25
申请号：CN202310564363.7
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
-
公开(公告)号：CN117075918A
公开(公告)日：2023-11-17
申请号：CN202311328294.6
申请日：2023-10-13
Applicant: 之江实验室
Abstract: 在一种模型部署方法、装置、存储介质及电子设备中，响应于待优化模型，生成计算逻辑单元以及对应的张量程序，并确定各所述计算逻辑单元对应的类型。然后，依次确定各计算逻辑单元之后计算逻辑单元为约束单元，根据该计算逻辑单元的张量程序以及约束单元的张量程序，确定数据排布优化转换方案。最后，将该计算逻辑单元的张量程序、约束单元的张量程序以及转换方案组合，得到候选策略，根据耗时从各候选策略中选择目标策略并根据目标策略并进行模型部署。通过获取全局最优部署策略，解决了优化后各层中间表示最优结果存在冲突的情况，提高了模型部署效率。
-
公开(公告)号：CN116755862A
公开(公告)日：2023-09-15
申请号：CN202311010092.7
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F9/48 , G06T1/20 , G06V10/764 , G06V10/774
Abstract: 本说明书公开了一种算子优化调度模型的训练方法、装置、介质及设备，包括：确定当前时刻作为训练样本的预先基于图像数据训练的图像分类模型中的各算子的信息，并输入待训练的算子优化调度模型，确定当前时刻待优化算子。确定对待优化算子进行优化后的待优化算子对图像数据进行图像分类时的运行下降时间。再根据信息、待优化算子以及待优化算子对图像数据进行图像分类时的运行下降时间，对待训练的算子优化调度模型进行训练，使得可以通过训练完成的算子优化调度模型确定当前时刻所需调度进行优化的算子，减少人工设计选择所需优化的算子的策略的麻烦，加快后续将待部署的图像分类模型部署到硬件上的速度。
-
公开(公告)号：CN116502679A
公开(公告)日：2023-07-28
申请号：CN202310543696.1
申请日：2023-05-15
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063 , G06N3/08
Abstract: 本说明书公开了一种模型构建方法、装置、存储介质及电子设备，可以对需要进行测试的各候选模型架构进行筛选，以筛选出通过代理模型预测出的性能参数的准确率较低的部分候选模型架构，来通过部署测试模型的方式获得该候选模型架构的真实性能参数，而针对剩余的候选模型架构，可以直接通过代理模型来获取出性能参数，并且可以通过主动学习的方法，在线对代理模型进行训练，从而可以在保证候选模型架构的性能评估准确率的同时，提升自动化构建深度学习模型的效率。
-
Patent Agency Ranking
公开(公告)号：CN116483547A
公开(公告)日：2023-07-25
申请号：CN202310742056.3
申请日：2023-06-21
Applicant: 之江实验室
Abstract: 本申请涉及一种资源调度方法、装置、计算机设备和存储介质。所述方法包括：获取待调度的容器组；基于待调度的容器组，确定集群中与容器组匹配的目标节点；在待调度的容器组的优先级标志位为低延迟的情况下，将目标节点中的处理器资源分配至容器组中的容器，生成资源调度结果。采用本方法能够解决不同容器间资源抢占的问题。
-
公开(公告)号：CN116301904A
公开(公告)日：2023-06-23
申请号：CN202310559970.4
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F8/41 , G06N3/006 , G06N3/0475 , G06N3/08
Abstract: 本发明公开了一种用于深度学习编译器的算子优化加速方法及装置，目的是减少算子优化空间的搜索时间。该方法首先将神经网络抽象成计算图的形式，再对计算图进行图优化，并为优化后的计算图中的每个算子定义优化空间。然后以LightGBM为代价模型，粒子群优化算法为搜索算法对优化空间进行搜索。在每轮搜索中，对搜索算法输出的候选解采用DBSCAN进行聚类和采样，减少在硬件上的实测次数，进一步提升搜索效率。
-
公开(公告)号：CN117032936B
公开(公告)日：2024-02-06
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算
-
公开(公告)号：CN117009092B
公开(公告)日：2024-02-02
申请号：CN202311278281.2
申请日：2023-10-07
Applicant: 之江实验室
Abstract: 基于多重多臂老虎机的编译时间资源动态分配方法及系统，其方法包括：步骤1，获取待编译的深度学习模型，对模型进行计算图级别优化，并进行图切分；步骤2，分配深度学习模型整体编译时间，并对时间资源进行分块；步骤3，遍历多个计算子图或算子，对当前某个计算子图或算子采集其历史编译特征信息；步骤4，设置分配决策模型参数进行训练或更新，并对当前计算子图或算子的潜力进行预测；步骤5，采用强化学习技术选择当前最具潜力的计算子图或算子；步骤6，为最具优化潜力的计算子图或算子分配相应的时间资源，并进行自动调优，同时收集当前计算子图或算子的实时编译特征信息；步骤7，返回步骤2，重新开始下一个时间块资源的动态分配。
-
公开(公告)号：CN116755862B
公开(公告)日：2023-12-19
申请号：CN202311010092.7
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F9/48 , G06T1/20 , G06V10/764 , G06V10/774
Abstract: 本说明书公开了一种算子优化调度模型的训练方法、装置、介质及设备，包括：确定当前时刻作为训练样本的预先基于图像数据训练的图像分类模型中的各算子的信息，并输入待训练的算子优化调度模型，确定当前时刻待优化算子。确定对待优化算子进行优化后的待优化算子对图像数据进行图像分类时的运行下降时间。再根据信息、待优化算子以及待优化算子对图像数据进行图像分类时的运行下降时间，对待训练的算子优化调度模型进行训练，使得可以通过训练完成的算子优化调度模型确定当前时刻所需调度进行优化的算子，减少人工设计选择所需优化的算子的策略的麻烦，加快后续将待部署的图像分类模型部署到硬件上的速度。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.025 seconds)
