推理引擎的适配方法、装置、设备及存储介质

    公开(公告)号:CN118519653A

    公开(公告)日:2024-08-20

    申请号:CN202410593400.1

    申请日:2024-05-13

    Inventor: 周智强 叶挺群

    Abstract: 本申请提供一种推理引擎的适配方法、装置、设备及存储介质,涉及人工智能技术领域,通过将推理引擎的功能进行重构定义,以模块化的方式进行分解,在模型发生更新后,端侧仅更新推理引擎中对应的功能模块即可,以降低推理引擎的更新难度与更新成本。该方法包括:接收模型发布侧设备发送的初始模型更新后的模型数据包;在模块更新信息指示当前功能模块发生更新的情况下,基于当前功能模块更新推理引擎中的初始功能模块,以及,在模块更新信息指示当前计算模块发生更新的情况下,基于当前计算模块更新推理引擎中的初始计算模块;通过更新后的推理引擎运行更新后的初始模型,执行更新后模型对应的推理任务。

    一种图像处理方法和装置
    22.
    发明公开

    公开(公告)号:CN116824342A

    公开(公告)日:2023-09-29

    申请号:CN202210260514.5

    申请日:2022-03-16

    Abstract: 本申请实施例提供了一种图像处理方法和装置,涉及深度学习技术领域,方法包括:当需要对图像进行处理时,调用预设模型库文件;其中,预设模型库文件包括:多个预设图像维度信息各自对应的目标深度学习模型的目标模型文件;目标模型文件包含目标深度学习模型的权重参数;按照目标深度学习模型处理最大的预设图像维度信息的图像所需的内存大小,分配用于对各待处理图像进行处理的目标内存空间;针对每一待处理图像,从预设模型库文件中,确定与该待处理图像相匹配的预设图像维度信息对应的目标模型文件;基于确定出的目标模型文件,以及目标内存空间,对该待处理图像进行处理。如此,能够提高图像处理的效率。

    一种AI芯片的运行方式的确定方法和装置

    公开(公告)号:CN113743598B

    公开(公告)日:2023-08-04

    申请号:CN202010462971.3

    申请日:2020-05-27

    Inventor: 周智强 叶挺群

    Abstract: 本申请实施例提供了一种AI芯片的运行方式的确定方法和装置,方法包括:获得目标神经网络模型;获得AI芯片支持的运行方式的不同组合,每种组合包括:目标神经网络模型中的各个网络层的运行方式;使得AI芯片基于不同组合,用目标神经网络模型对第一预设测试数据进行多次处理;获得AI芯片每次对第一预设测试数据处理完成所用的第一处理时长;选择第一处理时长最短的组合中包括的运行方式,确定为基于目标神经网络模型对数据进行处理时,AI芯片的运行方式,基于上述处理,能够提高基于神经网络模型进行数据处理的效率。

    一种获取数据块尺寸的方法、处理数据的方法及装置

    公开(公告)号:CN110533666B

    公开(公告)日:2022-09-23

    申请号:CN201810516394.4

    申请日:2018-05-25

    Inventor: 周智强

    Abstract: 本申请是关于一种获取数据块尺寸的方法、处理数据的方法及装置,属于图像处理领域。所述方法包括:获取至少一个数据块尺寸集合和所述至少一个数据块尺寸集合中的每个数据块尺寸集合的耗时数据,数据块尺寸集合包括数据块宽度和数据块高度,所述数据块尺寸集合的耗时数据用于反应卷积神经网络算法根据所述数据块尺寸集合处理测试数据需要的时间;根据所述每个数据块尺寸集合对应的耗时数据,从所述至少一个数据块尺寸集合中选择一个数据块尺寸集合。本申请能够减小浪费计算资源。

    数据处理方法、装置、设备及存储介质

    公开(公告)号:CN114327405A

    公开(公告)日:2022-04-12

    申请号:CN202111633458.7

    申请日:2021-12-28

    Abstract: 本申请公开了一种数据处理方法、装置、设备及存储介质,涉及数据处理技术领域,用于自定义算子开发,从而解决算子开发框架过于庞大,框架维护非常复杂的问题。该方法用于算子开发框架,该方法包括:获取自定义算子的源代码,自定义算子包括至少两个基础算子;其中,待执行自定义算子的目标硬件平台的算子库中预先存储有至少两个基础算子,基础算子是多个硬件平台通用的基础算子,多个硬件平台包括目标硬件平台;解析源代码,得到自定义算子的拓扑结构文件,拓扑结构文件用于指示目标硬件平台执行自定义算子时从算子库中调用至少两个基础算子,以及至少两个基础算子的计算逻辑。

    一种应用于深度学习网络的缓存优化方法及装置

    公开(公告)号:CN108615077B

    公开(公告)日:2021-08-24

    申请号:CN201611132262.9

    申请日:2016-12-09

    Abstract: 本发明公开了一种应用于深度学习网络的缓存优化方法及装置,其中缓存优化方法包括:对深度学习网络的第N层进行模拟运算;模拟运算后检测第一预定缓存块是否被占用,如果被占用,则为第N层的输出数据分配第二预定缓存块,并在满足预设条件时,释放被占用的所述第一预定缓存块。通过本发明能够解决深度学习网络每层训练中,缓存优化繁琐的问题,并使得缓存的优化和分配变得更加简单和高效,特别是能够适应不同的网络。

    一种处理器上的硬件选择方法和装置

    公开(公告)号:CN111752700A

    公开(公告)日:2020-10-09

    申请号:CN201910239753.0

    申请日:2019-03-27

    Inventor: 周智强 叶挺群

    Abstract: 本申请提供一种处理器上的硬件选择方法、装置及电子设备,所述处理器需要执行的业务被划分为多个子业务,所述处理器上的多个硬件被划分为多个硬件组,所述方法包括:确定处理器上划分出的多个硬件组;多次为各子业务分配硬件组,每一次为各子业务分配的硬件组形成一个硬件方案;针对每一个硬件方案,采用该硬件方案中为各子业务分配的硬件组执行各子业务,并计算执行各子业务的总耗时;在多个硬件方案中,选择总耗时最小的硬件方案作为最终硬件方案。使用本申请的方法可以实现为处理器上处理的业务分配硬件。

    执行任务的方法和装置
    28.
    发明公开

    公开(公告)号:CN110673944A

    公开(公告)日:2020-01-10

    申请号:CN201810716577.0

    申请日:2018-07-03

    Inventor: 周智强 叶挺群

    Abstract: 本公开是关于一种执行任务的方法和装置,属于电子技术领域。所述方法包括:每当接收到任务时,根据预设的任务类型和执行优先级的对应关系,以及任务所属的任务类型,确定并记录任务对应的执行优先级;执行任务包括的各子任务;当检测到当前空闲的硬件资源量不足以同时执行多个不同任务中待执行的子任务时,基于多个不同任务中每个任务的执行优先级,在待执行的子任务中,确定优先执行的目标子任务,执行目标子任务。采用本公开,在硬件资源不足的情况下,根据执行优先级来确定优先执行哪些待执行的子任务。基于执行优先级,后开始的任务也可以优先执行,因此,提高了执行任务的灵活性。

    嵌入式操作系统的升级方法及装置

    公开(公告)号:CN104461594B

    公开(公告)日:2019-01-15

    申请号:CN201310433674.6

    申请日:2013-09-22

    Inventor: 周智强 吴尚杰

    Abstract: 本发明公开了一种嵌入式操作系统的升级方法及装置,在上述方法中,接收来自于服务器的升级文件包,并将升级文件包存储至预设存储区域;对嵌入式操作系统进行重新启动,从预设存储区域中获取升级文件包并对升级文件包进行完整性和准确性校验;如果校验成功,则采用升级文件包进行升级操作,并在升级操作完成后采用EWF中的预设命令将在升级操作过程中修改的数据写入受保护的磁盘。根据本发明提供的技术方案,实现了对嵌入式设备进行远程升级,且升级操作可靠性强、安全性高。

Patent Agency Ranking