面向动态环境的边端协同推理任务卸载优化方法与系统

    公开(公告)号:CN116016538A

    公开(公告)日:2023-04-25

    申请号:CN202310303751.X

    申请日:2023-03-27

    Abstract: 本发明公开了面向动态环境的边端协同推理任务卸载优化方法与系统。所述方法运行在物理终端、边缘集群、云服务器三个层次内,其中云服务器负责模型训练,并将模型下发至边缘集群;物理终端产生计算任务并向边缘集群提出计算请求;在边缘集群内,本方法会综合考虑高度动态的网络带宽和设备负载情况,通过将边端协同推理工作中涉及到的推理时延和传输时延转换为与计算任务复杂度、设备负载、张量数据和网络带宽等相关联的最优化问题,并分步决策出模型的多个最佳分割位置以优化通信和计算权衡,最终在保证模型准确率的前提下,最小化协同推理时延的同时提升边缘服务器的计算资源利用率。

    一种基于云边端协同的深度学习模型推理加速方法

    公开(公告)号:CN115034390A

    公开(公告)日:2022-09-09

    申请号:CN202210961978.9

    申请日:2022-08-11

    Abstract: 本发明公开了一种基于云边端协同的深度学习模型推理加速方法,具体涉及一种深度学习模型分层卸载方法。该方法通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模,并以计算任务响应时延最小为优化目标,决定最优深度学习模型的分层卸载策略。相较于以物理端为主导和以云计算中心为主导的深度学习模型执行框架,本方法通过将边缘计算范式和云计算结合起来,并将深度学习模型分层卸载至不同的边缘计算节点,在满足计算精度的前提下,实现计算任务响应时延最小化。

    基于深度强化学习的网络智能管控架构系统和运行方法

    公开(公告)号:CN114640568B

    公开(公告)日:2022-08-19

    申请号:CN202210536555.2

    申请日:2022-05-18

    Abstract: 本发明公开了基于深度强化学习的网络智能管控架构系统和运行方法,应用于网络内部的管理控制。其中架构系统由数据平面、控制平面以及管理平面组成。运行方法为:数据平面通过网络遥测技术探测网络中的各类数据,控制平面接收数据平面上传数据,通过深度强化学习技术进行在线决策并下发配置指令,数据平面接收指令对网络内设备进行处理。管理平面根据各分布式控制平面上传的网络状态数据进行学习,并将知识共享到各分布式控制平面。本发明基于深度强化学习技术,可实现网络内部的智能管控,有效提高网络内部资源利用率。

    基于高速飞行的牵引式大负载缆索检测机器人及检测方法

    公开(公告)号:CN113386952A

    公开(公告)日:2021-09-14

    申请号:CN202110618800.X

    申请日:2021-06-03

    Abstract: 本发明公开了基于高速飞行的牵引式大负载缆索检测机器人及检测方法,包括四旋翼飞行器、牵引机构和大负载检测机器人;四旋翼飞行器套设在缆索外周,能沿缆索外壁飞行并悬停在设定的缆索高度位置;大负载检测机器人安装在四旋翼飞行器下方的缆索上,大负载检测机器人顶部通过牵引机构与四旋翼飞行器相连接,并能在四旋翼飞行器的牵引作用下,沿缆索向上爬升。本发明能用于携带30公斤及以上的大负载检测装置,如漏磁传感器,且爬升性能稳定,越障能力强。

    面向全局时延优化的云边端协同CNN推理方法及系统

    公开(公告)号:CN116455768B

    公开(公告)日:2023-09-12

    申请号:CN202310713616.2

    申请日:2023-06-16

    Abstract: 本发明公开了面向全局时延优化的云边端协同CNN推理方法,通过构建训练分块推理时延预测模型、计算理论数据传输时延、构建并训练时延损耗预测模型、构建全局时延预测模型;利用全局时延预测模型计算各个边缘服务器的理论全局时延,以全局时延最小化为优化目标,决定参与协同推理的边缘服务器的选择和推理任务量的分配。本发明同时提出面向全局时延优化的云边端协同CNN推理系统。相较于传统的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化,本方法将处理当前推理任务对其他并行处理的推理任务可能产生的时延影响也纳入了决策考量范围,同时,本发明还提供一种CNN分割优化方法,能够有效节省协同推理中的决策时延。

    面向全局时延优化的云边端协同CNN推理方法及系统

    公开(公告)号:CN116455768A

    公开(公告)日:2023-07-18

    申请号:CN202310713616.2

    申请日:2023-06-16

    Abstract: 本发明公开了面向全局时延优化的云边端协同CNN推理方法,通过构建训练分块推理时延预测模型、计算理论数据传输时延、构建并训练时延损耗预测模型、构建全局时延预测模型;利用全局时延预测模型计算各个边缘服务器的理论全局时延,以全局时延最小化为优化目标,决定参与协同推理的边缘服务器的选择和推理任务量的分配。本发明同时提出面向全局时延优化的云边端协同CNN推理系统。相较于传统的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化,本方法将处理当前推理任务对其他并行处理的推理任务可能产生的时延影响也纳入了决策考量范围,同时,本发明还提供一种CNN分割优化方法,能够有效节省协同推理中的决策时延。

    基于边缘计算节点打分表的深度学习模型分层卸载方法

    公开(公告)号:CN115562760A

    公开(公告)日:2023-01-03

    申请号:CN202211469689.3

    申请日:2022-11-22

    Abstract: 本发明公开了一种基于边缘计算节点打分表的深度学习模型分层卸载方法,属于边端协同计算技术领域。本发明离线获取边缘集群中各边缘计算节点算力参数,可提取每个计算节点的算力综合分数并做归一化处理得到总分,根据各个计算节点的总分形成打分表;同时离线统计深度学习模型各层计算量大小,通过统计参与推理的深度学习模型每一层计算量的大小情况并对其分区,根据不同边缘计算节点对不同计算量大小的计算能力差异,然后依据此分类对边缘计算节点打分表划分区间,从而合理的分配给计算能力充足的边缘计算节点,最终提高边缘集群中节点的资源利用率、降低计算时延。本发明可以降低整体时延的同时保证数据安全性和提高边缘节点资源的利用率。

Patent Agency Ranking