一种算子优化方法、装置、电子设备及存储介质

    公开(公告)号:CN118838722B

    公开(公告)日:2025-02-11

    申请号:CN202411328221.1

    申请日:2024-09-23

    Inventor: 周智强 叶挺群

    Abstract: 本申请实施例提供了一种算子优化方法、装置、电子设备及存储介质,涉及到计算机技术领域,方法包括:在深度学习模型推理过程中,获取待优化算子计算过程的内存占用量及计算耗时;在所述内存占用量超过片上内存的情况下,基于所述待优化算子的内存占用量及计算耗时,按照最小化运行时间的优化方式对所述待优化算子进行优化,其中,所述运行时间包括所述计算耗时和数据交互耗时,所述数据交互耗时与所述内存占用量正相关。本申请实施例实现了提高深度学习模型的推理速度。

    任务处理方法、装置及存储介质

    公开(公告)号:CN117215635B

    公开(公告)日:2024-08-27

    申请号:CN202311125854.8

    申请日:2019-06-28

    Abstract: 本申请公开了一种任务处理方法及装置,属于深度学习领域。在本申请中,客户端可以将接收到的任务处理命令直接发送至第一服务器上的shell容器,shell容器可以向后端服务模块发送任务处理命令,后端服务模块可以将任务处理命令发送至第二服务器,由第二服务器来处理该任务处理命令,并返回处理结果。后端服务模块可以接收该处理结果,并将该处理结果发送至shell容器。由此可见,在本申请实施例中,可以直接在shell容器内触发任务,这样,当开发人员完成代码编辑、编译等工作之后,在linux环境下可以直接通过shell容器触发任务,而不必再切换至web页面通过点击相应按钮来触发任务,操作更为方便。

    模型的部署方法、电子设备及存储介质

    公开(公告)号:CN118377493A

    公开(公告)日:2024-07-23

    申请号:CN202410534404.2

    申请日:2024-04-29

    Abstract: 本申请公开了一种模型的部署方法、电子设备及存储介质,属于深度学习技术领域,用以缩短模型的部署周期。所述方法包括:提取待部署的原始模型的第一私有层;提取所述第一私有层的代码实现;在将所述原始模型转换为中间模型的过程中,将所述第一私有层转换为所述中间模型的第二私有层,其中,所述中间模型为开放式神经网络交换格式的模型;根据所述中间模型和所述第一私有层的代码实现进行模型编译,得到目标平台支持的目标模型;将所述目标模型部署到所述目标平台。

    网络模型分散加载方法、装置及电子设备

    公开(公告)号:CN117724819A

    公开(公告)日:2024-03-19

    申请号:CN202311829328.X

    申请日:2023-12-27

    Abstract: 本申请提供了网络模型分散加载方法、装置及电子设备。本申请,在终端设备加载神经网络模型时,会先依据终端设备的当前可用内存空间DM,确定DM是否满足终端设备当前待加载的神经网络模型所需的存储资源要求,在确定DM不满足待加载的神经网络模型所需的存储资源要求时,依据DM对神经网络模型中的网络层进行分段,以使得任一分段被终端设备加载运行时所需要的存储资源小于DM,之后,终端设备按照神经网络模型被运行时的操作顺序依次加载分段并运行,这实现了终端设备通过神经网络模型分散加载的方式加载神经网络模型,避免神经网络模型本身容量和计算指令的内存占用量与终端设备本地可用内存的冲突。

    处理器的调度方法、装置、设备及存储介质

    公开(公告)号:CN117271069A

    公开(公告)日:2023-12-22

    申请号:CN202210657573.6

    申请日:2022-06-10

    Abstract: 本申请提供一种处理器的调度方法、装置、设备及存储介质,涉及视频监控及分析领域。该方法应用于第一电子设备,第一电子设备包括多种处理器。该方法包括:获取第一计算机视觉CV算子的特征信息;根据第一特征信息和预设的调度模型,确定与第一CV算子对应的目标处理器;目标处理器是多种处理器中的一种;利用目标处理器执行第一CV算子。该方法适用于执行CV算子的过程中,用于优化CV算子的执行效果。

    任务处理方法、装置及存储介质

    公开(公告)号:CN112148348B

    公开(公告)日:2023-10-20

    申请号:CN201910577574.8

    申请日:2019-06-28

    Abstract: 本申请公开了一种任务处理方法及装置,属于深度学习领域。在本申请中,客户端可以将接收到的任务处理命令直接发送至第一服务器上的shell容器,shell容器可以向后端服务模块发送任务处理命令,后端服务模块可以将任务处理命令发送至第二服务器,由第二服务器来处理该任务处理命令,并返回处理结果。后端服务模块可以接收该处理结果,并将该处理结果发送至shell容器。由此可见,在本申请实施例中,可以直接在shell容器内触发任务,这样,当开发人员完成代码编辑、编译等工作之后,在linux环境下可以直接通过shell容器触发任务,而不必再切换至web页面通过点击相应按钮来触发任务,操作更为方便。

    一种图像卷积处理方法和电子设备

    公开(公告)号:CN113495786B

    公开(公告)日:2023-10-13

    申请号:CN202010196706.5

    申请日:2020-03-19

    Inventor: 屠震元 叶挺群

    Abstract: 本申请实施例提供了一种图像卷积处理方法和电子设备,获取待卷积图像和卷积核;判断当前硬件平台的硬件资源,是否满足使用第一目标预设卷积分块方式进行图像卷积处理时对硬件资源的需求;若满足,使用第一目标预设卷积分块方式,对待卷积图像和卷积核进行图像卷积处理;若不满足,根据预先设定的卷积核的个数与卷积分块方式的对应关系,从除第一目标预设卷积分块方式之外的其他预设卷积分块方式中,选择与卷积核的个数对应的第二目标预设卷积分块方式,使用第二目标预设卷积分块方式对待卷积图像和卷积核进行图像卷积处理。本申请实施例中,在多种卷积分块方式中选择目标卷积分块方式,提高了图像卷积处理的效率。

    一种模型训练方法、装置及电子设备

    公开(公告)号:CN116861981A

    公开(公告)日:2023-10-10

    申请号:CN202210286015.3

    申请日:2022-03-22

    Inventor: 黄斌 丁健 叶挺群

    Abstract: 本发明实施例提供了一种模型训练方法、装置及电子设备。其中,所述方法包括:获取目标模型预期部署的目标平台的量化模式;按照所述量化模式通过所述目标模型对样本数据进行量化推理,得到推理结果;根据所述推理结果调整所述目标模型。可以在训练模型时加入目标平台的量化模式,以使得训练得到的模型在该量化模式下能够准确地输出推理结果,因此在将经过训练的模型属于目标平台后,目标平台能够通过该模型正常提供推理服务,降低需要重新训练模型的概率,即提高了模型部署效率。

    一种网络拓扑结构解析方法和电子设备

    公开(公告)号:CN116361427A

    公开(公告)日:2023-06-30

    申请号:CN202111627296.6

    申请日:2021-12-28

    Abstract: 本申请实施例提供了一种网络拓扑结构解析方法和电子设备,涉及机器学习技术领域。该方法包括:获取网络模型的代码,作为目标代码。在目标代码中查找第一关键字,第一关键字用于指示目标代码的框架语言,第一关键字包括在预设的关键字数据库中。根据第一关键字,确定目标代码的第一框架语言。根据第一框架语言,确定网络模型的网络拓扑结构。从而简单快捷地得到该网络模型的网络拓扑结构,解析效率较高,且无需配置深度学习框架的运行环境,易于使用。

    确定最优计算模板的方法和装置

    公开(公告)号:CN112926168B

    公开(公告)日:2023-05-09

    申请号:CN201911232364.1

    申请日:2019-12-05

    Inventor: 陈良 叶挺群

    Abstract: 本申请公开了一种确定最优计算模板的方法和装置,属于神经网络技术领域。该方法包括:基于目标计算层的张量算式,确定目标计算层对应的各种计算模板,在各种计算模板中,确定满足预设的本设备的硬件限制条件的目标计算模板,基于每种目标计算模板,对张量算式进行编译和模拟运行,并确定每种目标计算模板的运行时间,将运行时间最小的目标计算模板,确定为最优计算模板。本申请通过预先设置本设备的硬件限制条件,在目标计算层对应的各种计算模板中,确定满足预设的本设备的硬件限制条件的目标计算模板,排除了部分不合理组合,避免了不合理组合编译运行的时间的耗费,缩短了时间。

Patent Agency Ranking