-
公开(公告)号：CN112764875B
公开(公告)日：2023-02-28
申请号：CN202011628463.4
申请日：2020-12-31
Applicant: 中国科学院软件研究所
IPC: G06F9/455
Abstract: 本发明公开了一种面向智能计算的轻量级入口容器微服务系统及方法。本系统包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；所述任务分配容器包含任务解析器和任务分发器；任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。
-
公开(公告)号：CN115048218A
公开(公告)日：2022-09-13
申请号：CN202210650520.1
申请日：2022-06-09
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种边缘异构场景中的端云协同推理方法和系统。该方法包括离线和在线的两个阶段。在离线阶段，得到各个节点CPU以及内存占用率与神经网络每层推理时间的逻辑回归函数。在线阶段动态获取CPU与内存使用率，实时更新当前CPU和内存压力值下的神经网络各层的执行时间，根据此时间选择最佳模型划分点与最优节点，以达到最大的系统吞吐量。本发明公开了一种边缘异构场景中的端云协同推理框架的组成原理，可以确定异构边缘计算系统的最佳边缘设备和模型划分点，应用于图像分类检测系统，达到系统高吞吐量要求。
-
公开(公告)号：CN114723058A
公开(公告)日：2022-07-08
申请号：CN202210369401.9
申请日：2022-04-08
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向高采样率视频流分析的神经网络端云协同推理方法和装置。在面向实际的高采样率视频流场景下，通过对深度神经网络的建模分析，在将推理任务划分成边缘端/云端不同阶段的同时，完成深度神经网络模型的周期性循环划分策略，突破了目前面对高采样率视频流时的瓶颈。通过周期性循环划分策略，使边缘端/云端在指定深度神经网络模型下减少系统中的推理等待时间，达到系统的极限吞吐量，充分利用了边缘端和云端的计算能力。
-
Patent Agency Ranking
公开(公告)号：CN115062784A
公开(公告)日：2022-09-16
申请号：CN202210666123.3
申请日：2022-06-13
Applicant: 中国科学院软件研究所
Abstract: 本发明公开一种针对神经网络算子融合的端云协同推理方法及装置，所述方法包括将神经网络转换为有向无环图；将所述有向无环图切分为若干链式结构；对每一链式结构中的所述网络层进行融合操作，并使用得到的融合块替代被融合的网络层；依据待推理数据，预测每一融合块与每一未融合网络层的推理时间与输出数据大小，并根据所述输出数据大小与端云之间的网络带宽，计算中间数据传输时间；基于所述推理时间与所述中间数据传输时间，切分所述神经网络，并基于切分结果进行端云协同推理。本发明解决了具有可融合算子的网络模型的最小时延问题。
-
公开(公告)号：CN112764875A
公开(公告)日：2021-05-07
申请号：CN202011628463.4
申请日：2020-12-31
Applicant: 中国科学院软件研究所
IPC: G06F9/455
Abstract: 本发明公开了一种面向智能计算的轻量级入口容器微服务系统及方法。本系统包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；所述任务分配容器包含任务解析器和任务分发器；任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。
-
公开(公告)号：CN112580627A
公开(公告)日：2021-03-30
申请号：CN202011490588.5
申请日：2020-12-16
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种基于国产智能芯片K210的yolov3实时目标检测方法及电子装置，包括模型训练、模型量化和剪枝、模型转换、新增算子、实现yolo层、编译、烧录。首先根据K210开发板所支持的算子修改yolov3模型的backbone；然后使用PASCAL VOC2012和PASCAL VOC2007数据集训练模型，并进行剪枝；将保存好的模型转换为K210可以识别加载的格式，最后由K210摄像头采集到的图像，经过模型得到feature map，对得到的feature map通过yolo层进行激活、nms等操作得到图像中物体的位置和类别。本发明对yolov3算法进行剪枝、量化后使得模型大小减少到原来的11％；且利用K210软件栈执行硬件加速后运行速度相比于cpu有所提升。
-
公开(公告)号：CN117827317A
公开(公告)日：2024-04-05
申请号：CN202410007781.0
申请日：2024-01-03
Applicant: 中国科学院软件研究所 , 中科南京软件技术研究院
Abstract: 本发明公开了一种面向RISC‑V多指令集组合的二进制格式支持的运行方法和装置，通过一个富指令格式打包工具，将由不同指令集组合编译实现的可执行文件打包成一个富指令集格式文件包。由操作系统内核对由可执行文件打包而成的富指令集格式的文件包进行解析，加载；在操作系统运行时，由动态加载器对富指令集格式的动态库进行解析加载，进而交由用户层运行。有效地避免由不同扩展指令集组合导致的应用依赖运行环境不兼容问题，提高了程序的可用性、可伸缩性和扩展性，也提高了AIoT场景中存储资源量。
-
公开(公告)号：CN115130649A
公开(公告)日：2022-09-30
申请号：CN202210368166.3
申请日：2022-04-08
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向流水线分布式端云协同推理的深度学习模型划分方法和装置。该方法是一种面向视频帧流推理的机器学习模型分割方法，整个推理过程分为边缘设备推理、数据传输、云端设备推理三个部分，能以流水线的形式在边缘侧与云端分布式执行推理过程。将机器学习中的深度神经网络模型，根据约束三部分延迟的方法找到最优分割点，把模型分割为两部分。本发明公开了模型分割的完整方案以及分割模型所使用的算法及原理，通过边缘设备与云端的协同，找到最优的模型分割方案，提高整个推理系统的吞吐率。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.018 seconds)
