-
公开(公告)号：CN117032936B
公开(公告)日：2024-02-06
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算
-
公开(公告)号：CN116991429B
公开(公告)日：2024-01-16
申请号：CN202311266395.5
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F8/41 , G06F18/214
Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质，其中，该编译调优方法包括：选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列，对每种样本程序与优化序列的组合进行编译、特征抽取以及运行，得到训练数据集，基于训练数据集对预设的多任务学习模型进行训练，得到预训练模型，基于预训练模型进行成本函数模型的初始化，得到目标成本函数模型，利用该目标成本函数模型对目标源程序进行调优，得到目标源程序的最优优化序列。通过本申请，解决了相关技术中计算机程序编译调优效率低下的问题，提高了计算机程序的编译调优效率。
-
公开(公告)号：CN116861149A
公开(公告)日：2023-10-10
申请号：CN202311136375.6
申请日：2023-09-05
Applicant: 之江实验室
Abstract: 本申请涉及一种卷积运算的优化方法、装置及处理器，处理器包括一级缓存，该方法包括：在内存中将卷积运算的输入张量重排为左矩阵，将卷积核重排为右矩阵；将所述左矩阵划分为多个加载矩阵，所述加载矩阵的尺寸基于所述一级缓存的容量确定；将所述多个加载矩阵依次从所述内存加载至所述一级缓存，与所述右矩阵执行矩阵乘计算；将所述多个加载矩阵对应的计算结果累加，得到所述卷积运算的结果，不需要增加输入张量的存储空间，解决了相关技术中存在的将卷积运算转换为矩阵乘计算过程中产生的冗余数据导致内存占用增加和内存局部性较低的问题。
-
公开(公告)号：CN117950645B
公开(公告)日：2024-08-02
申请号：CN202410339678.6
申请日：2024-03-25
Applicant: 之江实验室
Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况；再根据目标硬件的存储层级从高到低，递归地在每一个层级上，基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案；其中各层级的数据搬运方案共同构成算子的调度方案；最后进行性能评估。基于搜索到的若干个算子调度方案，通过CodeGen技术生成目标硬件上的若干个算子实现，进而在硬件上测试选出性能最优的算子调度方案。因此，本发明的技术方案能够节省算力的情况下保证算子调度的优化。
-
公开(公告)号：CN117171577B
公开(公告)日：2024-03-22
申请号：CN202311450171.X
申请日：2023-11-02
Applicant: 之江实验室
IPC: G06F18/214
Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。
-
Patent Agency Ranking
公开(公告)号：CN116881618A
公开(公告)日：2023-10-13
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN116483547A
公开(公告)日：2023-07-25
申请号：CN202310742056.3
申请日：2023-06-21
Applicant: 之江实验室
Abstract: 本申请涉及一种资源调度方法、装置、计算机设备和存储介质。所述方法包括：获取待调度的容器组；基于待调度的容器组，确定集群中与容器组匹配的目标节点；在待调度的容器组的优先级标志位为低延迟的情况下，将目标节点中的处理器资源分配至容器组中的容器，生成资源调度结果。采用本方法能够解决不同容器间资源抢占的问题。
-
公开(公告)号：CN116932092B
公开(公告)日：2024-01-09
申请号：CN202311202669.4
申请日：2023-09-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子调用代码自动生成的方法、装置、介质及设备。所述方法包括：获取后端硬件平台对应的算子库基本信息以及目标深度学习算法的计算图；根据算子库基本信息生成算子调用代码的代码头；对计算图进行解析，确定计算图中的各前端算子；针对每个前端算子，根据该前端算子与算子调用模板之间的映射关系，确定该算子对应算子调用模板的声明语句以及模板函数的调用语句；根据代码头、声明语句、调用语句以及该算子对应的配置信息，生成完整的后端算子的调用代码；根据每个后端算子的调用代码调用各后端算子，以通过各后端算子执行计算任务。(56)对比文件丁然;林建文;朱振华;刘弋波.一种类CPU的深度学习协处理器架构.中国集成电路.2020,(第Z4期),全文.王秉睿;兰慧盈;陈云霁.深度学习编程框架.大数据.2018,(第04期),全文.傅鹂;鲁先志;蔡斌.一种基于数据流驱动的数据流连续查询模型.重庆工学院学报(自然科学版).2008,(第10期),全文.
-
公开(公告)号：CN117171577A
公开(公告)日：2023-12-05
申请号：CN202311450171.X
申请日：2023-11-02
Applicant: 之江实验室
IPC: G06F18/214
Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。
-
公开(公告)号：CN116932092A
公开(公告)日：2023-10-24
申请号：CN202311202669.4
申请日：2023-09-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子调用代码自动生成的方法、装置、介质及设备。所述方法包括：获取后端硬件平台对应的算子库基本信息以及目标深度学习算法的计算图；根据算子库基本信息生成算子调用代码的代码头；对计算图进行解析，确定计算图中的各前端算子；针对每个前端算子，根据该前端算子与算子调用模板之间的映射关系，确定该算子对应算子调用模板的声明语句以及模板函数的调用语句；根据代码头、声明语句、调用语句以及该算子对应的配置信息，生成完整的后端算子的调用代码；根据每个后端算子的调用代码调用各后端算子，以通过各后端算子执行计算任务。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.016 seconds)
