公开(公告)号：CN117149434A

公开(公告)日：2023-12-01

申请号：CN202311194533.3

申请日：2023-09-14

Applicant: 南京邮电大学

Inventor： 季一木 ,  邱华杰 ,  李玲娟 ,  刘尚东 ,  黄昕 ,  梁伟 ,  孙朕

IPC: G06F9/50 ,  G06N3/045 ,  G06N3/084 ,  G06N3/098 ,  G06N7/01

Abstract: 本发明提供一种基于双重延迟深度确定性策略梯度算法的多无人机辅助计算迁移方法，通过建立三层多无人机辅助的MEC计算卸载系统；使用时延与能耗作为度量网络性能的两个核心指标，构建多无人机辅助MEC系统WD计算卸载模型的优化问题；将计算卸载模型的优化问题解释为多智能体的马尔可夫决策过程；定义状态空间、动作空间和奖励函数；基于双重延迟深度确定性策略梯度算法与云边协同，对计算卸载模型进行分阶段模型训练，得到训练后的计算卸载模型；得到无人机在高维连续动作空间中最佳卸载决策；该方法收敛速度快，能够有效降低计算时延和能耗，能够使无人机在高维连续动作空间中更快地得到最佳卸载决策。

公开(公告)号：CN117112207A

公开(公告)日：2023-11-24

申请号：CN202311037605.3

申请日：2023-08-17

Applicant: 南京邮电大学

Inventor： 季一木 ,  黄昕 ,  刘尚东 ,  邱华杰 ,  梁伟 ,  孙朕 ,  张骋

IPC: G06F9/50 ,  G06N3/006 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/092 ,  G06N3/084 ,  H04W28/084 ,  H04W28/08

Abstract: 本发明公开了一种基于深度强化学习的混合资源调度方法，属于计算机技术领域；该方法包括以下步骤：构建马尔可夫决策过程的数学框架；构建深度强化学习模型；深度强化学习模型包括评价网络和目标网络；对构建的深度强化学习模型进行训练；利用深度强化学习模型获得初始化粒子群；采用分层学习划分粒子群，并计算粒子群的粒子适应值；对粒子群进行更新，位于低层的粒子随机选取高层的粒子作为参考进行速度及位置的更新，从而得到全局最优解即最优的资源调度方案。本发明通过将深度强化学习模型、分层学习的策略以及粒子群算法相结合，提高算法收敛速度的同时降低边缘服务器能耗；提高边缘服务器资源利用效率和服务器运算性能、减少能源消耗。