针对神经网络算子融合的端云协同推理方法及装置

    公开(公告)号:CN115062784A

    公开(公告)日:2022-09-16

    申请号:CN202210666123.3

    申请日:2022-06-13

    Abstract: 本发明公开一种针对神经网络算子融合的端云协同推理方法及装置,所述方法包括将神经网络转换为有向无环图;将所述有向无环图切分为若干链式结构;对每一链式结构中的所述网络层进行融合操作,并使用得到的融合块替代被融合的网络层;依据待推理数据,预测每一融合块与每一未融合网络层的推理时间与输出数据大小,并根据所述输出数据大小与端云之间的网络带宽,计算中间数据传输时间;基于所述推理时间与所述中间数据传输时间,切分所述神经网络,并基于切分结果进行端云协同推理。本发明解决了具有可融合算子的网络模型的最小时延问题。

    基于二进制分析与中间文件重连接的共享库去膨胀方法

    公开(公告)号:CN118779204A

    公开(公告)日:2024-10-15

    申请号:CN202310368734.4

    申请日:2023-04-07

    Abstract: 本发明涉及一种基于二进制分析与中间文件重连接的共享库去膨胀方法。所述方法包括:对目标应用程序及该目标应用程序依赖的共享库进行二进制分析,得到外部调用接口列表;基于所述共享库,获取重构共享库所需的中间文件;其中,所述中间文件为目标应用程序的中间文件在所述共享库中可重定位的共享库文件;基于所述外部调用接口列表和所述中间文件,得到去膨胀后的共享库。本发明可以额外的裁剪数据段,从而达到更好的去膨胀效果。

    内核配置项异常值的检测方法及装置

    公开(公告)号:CN115658492A

    公开(公告)日:2023-01-31

    申请号:CN202211280479.X

    申请日:2022-10-19

    Abstract: 本发明公开了一种内核配置项异常值检测方法及装置。所述方法包括:构建内核默认配置数据集;遍历待检测内核配置文件中所有内核配置项的名称、取值,并结合所述内核默认配置数据集补充未在待检测内核配置文件中出现的配置项取值,以构建待检测配置数据集V;将所述待检测配置数据集V与所述内核默认配置数据集中的配置项进行比较,得到所述待检测内核配置文件的异常检测结果。本发明基于内核社区和主流发行版的内核默认配置建立数据集进行异常值检测,能够检测出满足配置项依赖关系、却不恰当配置的异常值,减少配置误操作或遗漏的可能性,提高内核配置成功率。

    软件参数调优方法、容器管理平台、存储介质及系统

    公开(公告)号:CN115629860A

    公开(公告)日:2023-01-20

    申请号:CN202211298016.6

    申请日:2022-10-21

    Abstract: 本发明公开了一种软件参数调优方法、容器管理平台、存储介质及系统,所述容器管理平台包括:任务接收模块、数据收集模块、在线优化模块、参数更新模块、离线优化模块和专家知识库。该容器管理平台可以针对动态调优任务或静态调优任务的需要,提供最优算法解决方案或查表解决方案,在保障应用程序服务感知不到中断的情况下,使用新的调优过的容器替换原有容器的方式,对应用程序在启动时设定的初始化参数进行用户无感的更新。

    一种面向智能计算的轻量级入口容器微服务系统及方法

    公开(公告)号:CN112764875A

    公开(公告)日:2021-05-07

    申请号:CN202011628463.4

    申请日:2020-12-31

    Abstract: 本发明公开了一种面向智能计算的轻量级入口容器微服务系统及方法。本系统包括轻量级入口容器、任务分配容器以及智能计算业务容器,其中所述轻量级入口容器,用于接收用户输入的任务描述并将其发送给所述分配分配容器;所述任务分配容器包含任务解析器和任务分发器;任务解析器用于对任务描述进行解析,并将解析信息发送给任务分发器;任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址,下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点;根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件;然后任务分发器启动智能计算业务容器并发送智能计算请求,执行推理计算。

    基于国产智能芯片K210的yolov3目标检测方法及电子装置

    公开(公告)号:CN112580627A

    公开(公告)日:2021-03-30

    申请号:CN202011490588.5

    申请日:2020-12-16

    Abstract: 本发明公开了一种基于国产智能芯片K210的yolov3实时目标检测方法及电子装置,包括模型训练、模型量化和剪枝、模型转换、新增算子、实现yolo层、编译、烧录。首先根据K210开发板所支持的算子修改yolov3模型的backbone;然后使用PASCAL VOC2012和PASCAL VOC2007数据集训练模型,并进行剪枝;将保存好的模型转换为K210可以识别加载的格式,最后由K210摄像头采集到的图像,经过模型得到feature map,对得到的feature map通过yolo层进行激活、nms等操作得到图像中物体的位置和类别。本发明对yolov3算法进行剪枝、量化后使得模型大小减少到原来的11%;且利用K210软件栈执行硬件加速后运行速度相比于cpu有所提升。

    一种面向AI芯片平台的分布式自动化软件测试方法及平台

    公开(公告)号:CN109634843A

    公开(公告)日:2019-04-16

    申请号:CN201811285022.1

    申请日:2018-10-31

    Abstract: 本发明公开了一种面向AI芯片平台的分布式自动化软件测试方法及平台。该平台可以通过服务器将AI软件测试任务自动化的分发给不同的AI芯片平台客户端计算机去运行,测试完成后将测试结果统一到服务器管理,然后根据需求自动发布环境更新任务并随后向X86客户端发起第二次相同的测试任务,该任务在X86客户端上进行纯软件运行,并统一收集管理第二次的测试结果。当两次测试工作结束后,会自动的对两次的测试结果进行对比分析,并输出分析结果;并且,对前后两次离线模型的改变进行追溯,定位离线模型的结点或者输入导致错误,帮助软件工程师和硬件工程师排查问题。

    面向嵌入式系统的参数智能调优方法、服务器及系统

    公开(公告)号:CN117827420A

    公开(公告)日:2024-04-05

    申请号:CN202211201022.5

    申请日:2022-09-29

    Abstract: 本发明公开了一种面向嵌入式系统的参数调优方法、服务器及系统。所述方法包括:接收一客户端收集并发送的嵌入式系统的系统信息;其中,所述系统信息根据所述嵌入式系统中运行的业务程序生成;对所述系统信息进行分类,获取所述系统信息的分类结果;以所述业务程序的性能指标为基准,或以所述嵌入式系统的CPU能耗和内存能耗为基准,对所述分类结果进行处理,得到所述分布式系统的参数调优结果;将所述参数调优结果发送至所述客户端,以使所述客户端对所述分布式系统的参数进行更新。本发明可以基于性能或者能耗对嵌入式系统参数进行调优。

Patent Agency Ranking