-
公开(公告)号：CN119357672A
公开(公告)日：2025-01-24
申请号：CN202411611434.5
申请日：2024-11-12
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/21 , G06F18/2135 , G06F18/22 , G06F18/23213 , G06N20/00 , G06F40/284 , G06F16/355 , G06V10/25 , G06V10/764
Abstract: 本说明书提供的一种模型训练方法、业务执行方法、装置以及存储介质，可以获取目标数据集，对目标数据集中包含的各深度学习任务的任务数据进行聚类处理，以划分出不同的任务簇，针对每个深度学习任务，将该深度学习任务的任务数据输入到与该深度学习任务所在的任务簇相对应的待训练的预测模型中，以使预测模型从该深度学习任务的任务数据中提取出任务特征，并根据任务特征确定执行该深度学习任务的预测耗时，根据预测耗时与执行该深度学习任务的实际耗时之间的偏差，确定损失值，并根据损失值对预测模型进行训练。
-
公开(公告)号：CN117573815A
公开(公告)日：2024-02-20
申请号：CN202410069097.5
申请日：2024-01-17
Applicant: 之江实验室
IPC: G06F16/33 , G06F18/22 , G06F18/213
Abstract: 本说明书公开了一种基于向量相似度匹配优化的检索增强生成方法，确定待处理文本的特征向量，根据指定的向量数据库中的候选向量、待处理文本的特征向量以及相似度预测模型，得到候选向量与待处理文本的特征向量之间的相似度，基于相似度确定与待处理文本关联的参考文本，将待处理文本和参考文本确定的提示文本输入到预训练的自然语言模型得到目标文本。可见，通过上述方案可以基于相似度预测模型匹配得到的参考文本能够适应于指定领域，并提高参考文本的准确性，从而提高目标文本的质量。
-
公开(公告)号：CN117891600A
公开(公告)日：2024-04-16
申请号：CN202410044115.4
申请日：2024-01-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务调度的方法、装置、存储介质及电子设备，包括：确定待执行任务，并对待执行任务进行拆分，得到各子任务。根据各子任务，生成子任务队列。采用预设的初始调度方法，将子任务队列中的各子任务调度到对应的处理器上执行。在各处理器执行各子任务的过程中，实时确定各处理器的剩余资源，并针对每个处理器，当该处理器满足指定条件时，将已调度给其他处理器但尚未执行的子任务调度到该处理器上执行，从而避免空闲处理器长时间的等待，造成资源的浪费，以及避免堵塞处理器中的子任务长时间的等待。同时，提高处理器的使用率，加快待执行任务的执行速度，提高执行效率。
-
公开(公告)号：CN115249315A
公开(公告)日：2022-10-28
申请号：CN202211148079.3
申请日：2022-09-21
Applicant: 之江实验室
IPC: G06V10/764 , G06N20/00 , G06F9/48
Abstract: 本发明公开了面向异构计算设备的深度学习图像分类方法及装置，将深度学习模型建模为一个有向无环图，有向无环图的节点表深度学习模型的算子，节点之间的有向边代表深度学习模型算子间的数据传输；根据算子分别在各异构计算设备上的处理时间为节点赋值，根据算子间数据在两个计算设备间的传输时间为节点之间的有向边赋值；将每个节点之间的有向边替换为新的节点，并增加两条有向边，保持有向无环图的拓扑结构，用原有向边的权重为新的节点赋值；对算子的内存占用、设备的内存限制、算子在设备上的执行顺序、设备与设备间的数据传输、设备与设备间的数据传输顺序建模，模型的目标函数是模型的端到端推理时延，从而得到最小时延的模型。
-
公开(公告)号：CN112297014B
公开(公告)日：2021-04-27
申请号：CN202011633386.1
申请日：2020-12-31
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本发明提供了面向机器人的云边端架构下的深度学习模型分割方法，属于深度学习以及分布式计算领域。该方法首先将深度学习模型建模为一个有向无环图，有向无环图的节点代表深度学习模型层，节点之间的边代表深度学习模型层间的数据传输。其次，根据模型层分别在云边端上的处理时间为节点赋值，根据模型层间数据分别在云边、边端、云端之间的传输时间为节点之间的边赋值。进而，采用一个有向无环图最长距离算法对图中的节点进行分层，并逐层处理节点。对于一层中的每个节点，根据节点的输入边权重和节点权重，采用启发式策略，进行动态分割，并将分割后的深度学习模型分配给云边端计算设备，从而实现无精度损失的云边端分布式协同推理。
-
Patent Agency Ranking
公开(公告)号：CN112363844A
公开(公告)日：2021-02-12
申请号：CN202110037236.2
申请日：2021-01-12
Applicant: 之江实验室
Abstract: 本发明公开了一种面向图像处理的卷积神经网络垂直分割方法，属于深度学习以及分布式计算领域。该方法首先将连续卷积层最后一层的输入特征图分割为连续的子特征图，再根据子特征图，并依据卷积计算操作，反向逐层计算上一层对应的子特征图，直至第一层，参考第一层的子特征图，对第一层的输入特征图进行分割，将第一层分割后的子特征图分配给多个计算节点。最后，依据单链路连续卷积层的参数和超参数，实施无精度损失的分布式协同推理，并在所有推理结果生成后进行推理结果的汇总，生成最终的输出特征图。相比于过往方法，本发明的方法具有大幅度降低卷积神经网络推理时延并且没有精度损失的特点。
-
公开(公告)号：CN112297014A
公开(公告)日：2021-02-02
申请号：CN202011633386.1
申请日：2020-12-31
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本发明提供了面向机器人的云边端架构下的深度学习模型分割方法，属于深度学习以及分布式计算领域。该方法首先将深度学习模型建模为一个有向无环图，有向无环图的节点代表深度学习模型层，节点之间的边代表深度学习模型层间的数据传输。其次，根据模型层分别在云边端上的处理时间为节点赋值，根据模型层间数据分别在云边、边端、云端之间的传输时间为节点之间的边赋值。进而，采用一个有向无环图最长距离算法对图中的节点进行分层，并逐层处理节点。对于一层中的每个节点，根据节点的输入边权重和节点权重，采用启发式策略，进行动态分割，并将分割后的深度学习模型分配给云边端计算设备，从而实现无精度损失的云边端分布式协同推理。
-
公开(公告)号：CN117573815B
公开(公告)日：2024-04-30
申请号：CN202410069097.5
申请日：2024-01-17
Applicant: 之江实验室
IPC: G06F16/33 , G06F18/22 , G06F18/213
Abstract: 本说明书公开了一种基于向量相似度匹配优化的检索增强生成方法，确定待处理文本的特征向量，根据指定的向量数据库中的候选向量、待处理文本的特征向量以及相似度预测模型，得到候选向量与待处理文本的特征向量之间的相似度，基于相似度确定与待处理文本关联的参考文本，将待处理文本和参考文本确定的提示文本输入到预训练的自然语言模型得到目标文本。可见，通过上述方案可以基于相似度预测模型匹配得到的参考文本能够适应于指定领域，并提高参考文本的准确性，从而提高目标文本的质量。
-
公开(公告)号：CN117724823A
公开(公告)日：2024-03-19
申请号：CN202410175197.6
申请日：2024-02-07
Applicant: 之江实验室
Abstract: 本说明书公开了基于声明式语义的多模型工作流描述的任务执行方法。在本说明书提供的任务执行方法中，确定由若干子任务构成的目标任务，以及执行所述目标任务所需的各目标模型，不同目标模型用于执行不同子任务；获取所述目标任务的声明式语义描述，以及所述目标模型的模型信息；对所述各目标模型进行拆分，得到若干任务单元，其中，不同任务单元用于执行子任务下的不同的任务内容；确定各任务单元在执行所述任务内容时的资源需求，并根据所述资源需求以及所述声明式语义描述确定所述各任务单元的资源分配信息；根据所述资源分配信息，采用所述任务各单元执行各任务内容，得到所述目标任务的执行结果。
-
公开(公告)号：CN116880995A
公开(公告)日：2023-10-13
申请号：CN202311158944.7
申请日：2023-09-08
Applicant: 之江实验室
IPC: G06F9/48 , G06N3/0464
Abstract: 本说明书公开了一种模型任务的执行方法、装置、存储介质及电子设备，确定运行神经网络模型的任务，对神经网络模型进行解析，得到模型算子以及模型算子信息。根据模型算子以及模型算子之间的张量传递关系，确定任务中的各子任务以及各子任务之间的连接关系，确定各子任务的调用函数。将各子任务以及各子任务的调用函数发送至分布式系统中的各边缘服务器，根据各子任务之间的连接关系，控制边缘服务器执行各子任务。该方法实现了对神经网络模型从模型算子层面的拆分，并使用分布式系统运行各子任务，在不影响神经网络模型的精度的前提下，提高了神经网络模型的推理速度，降低了对单个服务器的算力需求以及存储需求。
-
-
-
-
-
-
-
-
-
Search Results
25
records
(took 0.03 seconds)
