-
公开(公告)号：CN117114113B
公开(公告)日：2023-12-29
申请号：CN202311378988.0
申请日：2023-10-24
Applicant: 南京邮电大学
IPC: G06N5/04 , G06N3/0464 , G06F9/50
Abstract: 本发明属于边缘计算技术领域，涉及一种基于排队论的协同推理加速方法；包括：步骤1建立任务属性模型；步骤2建立通信模型；步骤3依据当前队列状态信息做出是否直接上传云服务器的决策，上传则步骤7，否则步骤4；步骤4进行DNN模型分区，若此时任务不触发反悔机制则转步骤5，否则转步骤6；步骤5基于步骤4，边缘服务器协同执行推理任务并转步骤8；步骤6触发反悔机制，DNN模型深段部分转步骤7；步骤7模型上传云服务器并完成推理结果的聚合进入步骤8；步骤8获得此时的模型分区策略及总推理时延；当总推理时延不再减小，输出最优模型分区策略以及最小推理时延；结合队列状态信息对模型分区点进行优化，实现最小化系统推理时延。(56)对比文件顾冰雪.面向深度学习的云边任务迁移与调度研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2022,(第2022年12期),I139-422.郭永安 等.基于边端协同的CNN推理加速框架《.南京邮电大学学报（自然科学版）》.2023,第43卷(第3期),68-77.Siqi Fan 等.Dynamic Regret ofRandomized Online Service Caching in EdgeComputing《.arXiv》.2023,1-10.Zixing Lei 等.Latency-AwareCollaborative Perception《.arXiv》.2022,1-17.Bin Han 等.Impatient Queuing forIntelligent Task Offloading inMultiaccess Edge Computing《.IEEETRANSACTIONS ON WIRELESS COMMUNICATIONS》.2022,第22卷(第1期),59-72.
-
Patent Agency Ranking
公开(公告)号：CN117539640B
公开(公告)日：2024-03-26
申请号：CN202410026413.0
申请日：2024-01-09
Applicant: 南京邮电大学
IPC: G06F9/50 , G06F18/231 , G06N3/045 , G06N3/042 , G06N3/0985 , G06N5/04
Abstract: 本发明公开了一种边缘技术领域的面向异构推理任务的边端协同系统及资源分配方法，旨在解决现有技术中异构边缘服务器无法为异构推理任务进行合理、高效的资源分配等问题，边端协同系统包括终端设备层和边缘服务器层，终端设备层包括多个物联网设备，边缘服务器层包括多个异构边缘服务器，以及应用于边端协同系统的资源分配方法。本发明对物联网设备产生的多个并行异构推理任务进行边端协同处理，实现在满足推理任务不同需求的同时最大化系统的资源利用率。
-
公开(公告)号：CN117707795B
公开(公告)日：2024-05-10
申请号：CN202410162969.2
申请日：2024-02-05
Applicant: 南京邮电大学
IPC: G06F9/50 , H04W28/084 , H04W28/08 , G06N5/043 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/0495 , G06N3/092 , G06N3/098 , G06N3/084 , G06V10/96 , G06V10/94 , G06V10/82
Abstract: 本发明提供了一种基于图的模型划分的边端协同推理方法及系统，该方法包括：获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息；将CNN模型转换为有向无环图；采用等价节点合并的方法对有向无环图进行压缩；对时延优化问题进行建模，协同推理时延由计算时延和数据传输时延组成。基于图神经网络和DQN算法，根据边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练，以最小化时延为目标求解时延优化问题，得到最优的划分策略。根据划分策略，将CNN模型划分为2个CNN模型分段，分别分配给端设备和边缘服务器进行计算，用以解决现有的CNN推理任务的推理时间没有得到最大限度的减少的问题。
-
公开(公告)号：CN117114113A
公开(公告)日：2023-11-24
申请号：CN202311378988.0
申请日：2023-10-24
Applicant: 南京邮电大学
IPC: G06N5/04 , G06N3/0464 , G06F9/50
Abstract: 本发明属于边缘计算技术领域，涉及一种基于排队论的协同推理加速方法；包括：步骤1建立任务属性模型；步骤2建立通信模型；步骤3依据当前队列状态信息做出是否直接上传云服务器的决策，上传则步骤7，否则步骤4；步骤4进行DNN模型分区，若此时任务不触发反悔机制则转步骤5，否则转步骤6；步骤5基于步骤4，边缘服务器协同执行推理任务并转步骤8；步骤6触发反悔机制，DNN模型深段部分转步骤7；步骤7模型上传云服务器并完成推理结果的聚合进入步骤8；步骤8获得此时的模型分区策略及总推理时延；当总推理时延不再减小，输出最优模型分区策略以及最小推理时延；结合队列状态信息对模型分区点进行优化，实现最小化系统推理时延。
-
公开(公告)号：CN117707795A
公开(公告)日：2024-03-15
申请号：CN202410162969.2
申请日：2024-02-05
Applicant: 南京邮电大学
IPC: G06F9/50 , H04W28/084 , H04W28/08 , G06N5/043 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/0495 , G06N3/092 , G06N3/098 , G06N3/084 , G06V10/96 , G06V10/94 , G06V10/82
Abstract: 本发明提供了一种基于图的模型划分的边端协同推理方法及系统，该方法包括：获取CNN模型以及边缘网络系统的工作负载信息和网络质量信息；将CNN模型转换为有向无环图；采用等价节点合并的方法对有向无环图进行压缩；对时延优化问题进行建模，协同推理时延由计算时延和数据传输时延组成。基于图神经网络和DQN算法，根据边缘网络系统的工作负载信息和网络质量信息进行DAG划分模型的训练，以最小化时延为目标求解时延优化问题，得到最优的划分策略。根据划分策略，将CNN模型划分为2个CNN模型分段，分别分配给端设备和边缘服务器进行计算，用以解决现有的CNN推理任务的推理时间没有得到最大限度的减少的问题。
-
公开(公告)号：CN117539640A
公开(公告)日：2024-02-09
申请号：CN202410026413.0
申请日：2024-01-09
Applicant: 南京邮电大学
IPC: G06F9/50 , G06F18/231 , G06N3/045 , G06N3/042 , G06N3/0985 , G06N5/04
Abstract: 本发明公开了一种边缘技术领域的面向异构推理任务的边端协同系统及资源分配方法，旨在解决现有技术中异构边缘服务器无法为异构推理任务进行合理、高效的资源分配等问题，边端协同系统包括终端设备层和边缘服务器层，终端设备层包括多个物联网设备，边缘服务器层包括多个异构边缘服务器，以及应用于边端协同系统的资源分配方法。本发明对物联网设备产生的多个并行异构推理任务进行边端协同处理，实现在满足推理任务不同需求的同时最大化系统的资源利用率。
-
-
-
-
-
Search Results
6
records
(took 0.03 seconds)
