-
公开(公告)号:CN116016538A
公开(公告)日:2023-04-25
申请号:CN202310303751.X
申请日:2023-03-27
Applicant: 南京邮电大学
IPC: H04L67/101 , H04L67/1008 , H04L41/0823 , H04L41/0896 , H04L41/0894 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了面向动态环境的边端协同推理任务卸载优化方法与系统。所述方法运行在物理终端、边缘集群、云服务器三个层次内,其中云服务器负责模型训练,并将模型下发至边缘集群;物理终端产生计算任务并向边缘集群提出计算请求;在边缘集群内,本方法会综合考虑高度动态的网络带宽和设备负载情况,通过将边端协同推理工作中涉及到的推理时延和传输时延转换为与计算任务复杂度、设备负载、张量数据和网络带宽等相关联的最优化问题,并分步决策出模型的多个最佳分割位置以优化通信和计算权衡,最终在保证模型准确率的前提下,最小化协同推理时延的同时提升边缘服务器的计算资源利用率。
-
公开(公告)号:CN115034390A
公开(公告)日:2022-09-09
申请号:CN202210961978.9
申请日:2022-08-11
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于云边端协同的深度学习模型推理加速方法,具体涉及一种深度学习模型分层卸载方法。该方法通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模,并以计算任务响应时延最小为优化目标,决定最优深度学习模型的分层卸载策略。相较于以物理端为主导和以云计算中心为主导的深度学习模型执行框架,本方法通过将边缘计算范式和云计算结合起来,并将深度学习模型分层卸载至不同的边缘计算节点,在满足计算精度的前提下,实现计算任务响应时延最小化。
-
公开(公告)号:CN114640568B
公开(公告)日:2022-08-19
申请号:CN202210536555.2
申请日:2022-05-18
Applicant: 南京邮电大学
IPC: H04L41/042 , H04L41/0803 , G06N3/08
Abstract: 本发明公开了基于深度强化学习的网络智能管控架构系统和运行方法,应用于网络内部的管理控制。其中架构系统由数据平面、控制平面以及管理平面组成。运行方法为:数据平面通过网络遥测技术探测网络中的各类数据,控制平面接收数据平面上传数据,通过深度强化学习技术进行在线决策并下发配置指令,数据平面接收指令对网络内设备进行处理。管理平面根据各分布式控制平面上传的网络状态数据进行学习,并将知识共享到各分布式控制平面。本发明基于深度强化学习技术,可实现网络内部的智能管控,有效提高网络内部资源利用率。
-
公开(公告)号:CN114422349A
公开(公告)日:2022-04-29
申请号:CN202210323840.6
申请日:2022-03-30
Applicant: 南京邮电大学
IPC: H04L41/0803 , H04L41/0826 , H04L41/14 , H04L41/142 , H04L67/10 , H04L67/1008 , H04L67/101 , H04L67/1021 , G06N5/04 , G06N3/08 , G06F9/50
Abstract: 本发明公开了基于云边端协同的深度学习模型训练和推理架构部署方法,基于云服务器、边缘服务器、物理终端,边缘服务器搭载训练模块、推理模块、态势感知中心;态势感知中心包括用于感知边缘服务器的计算资源、与边缘服务器间的带宽占用情况和物理距离计算的边缘服务器计算能力感知模块,以及用于感知边缘服务器与云服务器间的带宽占用情况、物理距离计算以及感知云服务器的计算资源的云服务器计算能力感知模块,训练模块和推理模块进行资源成本计算以决定架构部署。本发明充分调动了网络边缘侧的计算能力,同时为边缘侧赋予了智能决策能力,为边缘操作系统在边缘侧的成功部署和对海量、复杂任务的时效计算给出了解决办法。
-
公开(公告)号:CN113386952A
公开(公告)日:2021-09-14
申请号:CN202110618800.X
申请日:2021-06-03
Applicant: 南京邮电大学
IPC: B64C27/08 , B64D47/00 , B62D57/024 , G01N27/83
Abstract: 本发明公开了基于高速飞行的牵引式大负载缆索检测机器人及检测方法,包括四旋翼飞行器、牵引机构和大负载检测机器人;四旋翼飞行器套设在缆索外周,能沿缆索外壁飞行并悬停在设定的缆索高度位置;大负载检测机器人安装在四旋翼飞行器下方的缆索上,大负载检测机器人顶部通过牵引机构与四旋翼飞行器相连接,并能在四旋翼飞行器的牵引作用下,沿缆索向上爬升。本发明能用于携带30公斤及以上的大负载检测装置,如漏磁传感器,且爬升性能稳定,越障能力强。
-
公开(公告)号:CN117834643B
公开(公告)日:2024-05-03
申请号:CN202410246171.6
申请日:2024-03-05
Applicant: 南京邮电大学
IPC: H04L67/1023 , H04L67/12 , H04L41/142 , H04L41/16 , G06N3/0442 , G06N3/092 , G06N3/082 , G06N5/04
Abstract: 本发明属于工业物联网和深度神经网络技术领域,公开了一种面向工业物联网的深度神经网络协同推理方法,其用DQN算法和LSTM算法,对工业物联网的推理任务进行高效的动态卸载,其中LSTM算法拥有对长期状态的记忆能力,能够更准确的估计当前服务器和用户设备的当前状态,从而保证了算法的准确性,提高了推理效率。本发明所述的方法能够更加高效地利用边缘服务器的计算能力,提高深度神经网络推理的效率;同时,可以降低推理任务的延迟、减少能耗,并可以根据环境的变化动态选择最优的推理方法。
-
公开(公告)号:CN116455768B
公开(公告)日:2023-09-12
申请号:CN202310713616.2
申请日:2023-06-16
Applicant: 南京邮电大学
IPC: H04L41/16 , H04L41/0894 , H04L67/1008 , H04L67/101 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了面向全局时延优化的云边端协同CNN推理方法,通过构建训练分块推理时延预测模型、计算理论数据传输时延、构建并训练时延损耗预测模型、构建全局时延预测模型;利用全局时延预测模型计算各个边缘服务器的理论全局时延,以全局时延最小化为优化目标,决定参与协同推理的边缘服务器的选择和推理任务量的分配。本发明同时提出面向全局时延优化的云边端协同CNN推理系统。相较于传统的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化,本方法将处理当前推理任务对其他并行处理的推理任务可能产生的时延影响也纳入了决策考量范围,同时,本发明还提供一种CNN分割优化方法,能够有效节省协同推理中的决策时延。
-
公开(公告)号:CN116455768A
公开(公告)日:2023-07-18
申请号:CN202310713616.2
申请日:2023-06-16
Applicant: 南京邮电大学
IPC: H04L41/16 , H04L41/0894 , H04L67/1008 , H04L67/101 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了面向全局时延优化的云边端协同CNN推理方法,通过构建训练分块推理时延预测模型、计算理论数据传输时延、构建并训练时延损耗预测模型、构建全局时延预测模型;利用全局时延预测模型计算各个边缘服务器的理论全局时延,以全局时延最小化为优化目标,决定参与协同推理的边缘服务器的选择和推理任务量的分配。本发明同时提出面向全局时延优化的云边端协同CNN推理系统。相较于传统的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化,本方法将处理当前推理任务对其他并行处理的推理任务可能产生的时延影响也纳入了决策考量范围,同时,本发明还提供一种CNN分割优化方法,能够有效节省协同推理中的决策时延。
-
-
公开(公告)号:CN115562760A
公开(公告)日:2023-01-03
申请号:CN202211469689.3
申请日:2022-11-22
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于边缘计算节点打分表的深度学习模型分层卸载方法,属于边端协同计算技术领域。本发明离线获取边缘集群中各边缘计算节点算力参数,可提取每个计算节点的算力综合分数并做归一化处理得到总分,根据各个计算节点的总分形成打分表;同时离线统计深度学习模型各层计算量大小,通过统计参与推理的深度学习模型每一层计算量的大小情况并对其分区,根据不同边缘计算节点对不同计算量大小的计算能力差异,然后依据此分类对边缘计算节点打分表划分区间,从而合理的分配给计算能力充足的边缘计算节点,最终提高边缘集群中节点的资源利用率、降低计算时延。本发明可以降低整体时延的同时保证数据安全性和提高边缘节点资源的利用率。
-
-
-
-
-
-
-
-
-