公开(公告)号：CN114390057B

公开(公告)日：2024-04-05

申请号：CN202210038074.9

申请日：2022-01-13

Applicant: 南昌工程学院

Inventor： 韩龙哲 ,  敖晨晨 ,  赵嘉 ,  张翼英 ,  何业慎 ,  欧清海 ,  李胜 ,  梁琨 ,  刘柱 ,  武延年

IPC: H04L67/1001 ,  H04L47/12 ,  G06N20/00 ,  G06N7/01

Abstract: 本发明公开了一种MEC环境下基于强化学习的多接口自适应数据卸载方法，包括以下步骤：将多个用户设备、边缘基站、服务器数据传输策略构成的环境，建模为一个有限状态的马尔科夫决策模型；基于马尔科夫决策模型构建奖励函数，使用多智能体深度强化学习算法对神经网络进行训练，获得最优决策动作，确定数据卸载的传输方式。强化学习可以实现无模型的状态到动作的高维映射关系的自学习，发明中基于强化学习获得多接口自适应数据卸载方法，有效的缓解服务器端的压力，提升网络资源利用率，达到缓解网络拥堵、降低端到端时延以及减少数据卸载传输能耗的目标。

公开(公告)号：CN115604274A

公开(公告)日：2023-01-13

申请号：CN202211241559.4

申请日：2022-10-11

Applicant: 南昌工程学院(CN)

Inventor： 韩龙哲 ,  敖晨晨 ,  赵嘉 ,  李胜 ,  汪泽恒 ,  张翼英 ,  何业慎

IPC: H04L67/1008

Abstract: 本发明公开了一种MEC环境下基于服务器负载均衡机制的自适应计算卸载方法，包括以下步骤：S1：将多个用户设备、任务、边缘基站和服务器构成环境；S2：根据优化目标和边缘服务器的负载情况确定系统状态；S3：基于环境构建马尔科夫决策模型；S4：基于改进DDPG算法对所述马尔科夫决策模型进行求解；S5：获得最优决策动作，确保边缘服务器负载均衡，得到最优计算卸载策略。基于边缘服务器负载均衡，引入随机早期检测算法，提出一种改进深度强化学习算法获得自适应计算卸载方法，有效缓解服务器端的压力，提升网络资源利用率，达到缓解网络拥堵、降低端到端时延以及减少能耗的目标。

公开(公告)号：CN114374741A

公开(公告)日：2022-04-19

申请号：CN202210038806.4

申请日：2022-01-13

Applicant: 南昌工程学院

Inventor： 韩龙哲 ,  李胜 ,  赵嘉 ,  张翼英 ,  祝文军 ,  包学才 ,  梁琨 ,  敖晨晨 ,  王思宁

IPC: H04L67/568 ,  H04L67/10 ,  H04L67/12 ,  H04W4/44 ,  H04W4/46 ,  G06N3/08

Abstract: 本发明公开了MEC环境下基于强化学习的动态分组车联网缓存方法，包括以下步骤：S1：获取待分组的所有车辆信息、路侧单元信息、宏基站信息、核心网、缓存内容信息；S2：确定移动车组缓存池和中心车辆；S3：根据移动车组缓存池、路侧单元和宏基站信息，构建系统内容缓存和交付模型；S4：根据车组内全部车辆获取内容总延迟最小为目标函数，建立基于演员‑评论家框架的多智能体协同边缘缓存模型；S5：通过训练模型得到相应缓存策略，选择系统延时最小的策略进行内容缓存。可解决车辆频繁与路侧基站通信导致基站负载过大，端到端内容获取的延时过长问题。

公开(公告)号：CN114374741B

公开(公告)日：2024-04-19

申请号：CN202210038806.4

申请日：2022-01-13

Applicant: 南昌工程学院

Inventor： 韩龙哲 ,  李胜 ,  赵嘉 ,  张翼英 ,  祝文军 ,  包学才 ,  梁琨 ,  敖晨晨 ,  王思宁

IPC: H04L67/568 ,  H04L67/10 ,  H04L67/12 ,  H04W4/44 ,  H04W4/46 ,  G06N3/092

Abstract: 本发明公开了MEC环境下基于强化学习的动态分组车联网缓存方法，包括以下步骤：S1：获取待分组的所有车辆信息、路侧单元信息、宏基站信息、核心网、缓存内容信息；S2：确定移动车组缓存池和中心车辆；S3：根据移动车组缓存池、路侧单元和宏基站信息，构建系统内容缓存和交付模型；S4：根据车组内全部车辆获取内容总延迟最小为目标函数，建立基于演员‑评论家框架的多智能体协同边缘缓存模型；S5：通过训练模型得到相应缓存策略，选择系统延时最小的策略进行内容缓存。可解决车辆频繁与路侧基站通信导致基站负载过大，端到端内容获取的延时过长问题。

公开(公告)号：CN114390057A

公开(公告)日：2022-04-22

申请号：CN202210038074.9

申请日：2022-01-13

Applicant: 南昌工程学院

Inventor： 韩龙哲 ,  敖晨晨 ,  赵嘉 ,  张翼英 ,  何业慎 ,  欧清海 ,  李胜 ,  梁琨 ,  刘柱 ,  武延年

IPC: H04L67/1001 ,  H04L47/12 ,  G06N20/00 ,  G06N7/00

Abstract: 本发明公开了一种MEC环境下基于强化学习的多接口自适应数据卸载方法，包括以下步骤：将多个用户设备、边缘基站、服务器数据传输策略构成的环境，建模为一个有限状态的马尔科夫决策模型；基于马尔科夫决策模型构建奖励函数，使用多智能体深度强化学习算法对神经网络进行训练，获得最优决策动作，确定数据卸载的传输方式。强化学习可以实现无模型的状态到动作的高维映射关系的自学习，发明中基于强化学习获得多接口自适应数据卸载方法，有效的缓解服务器端的压力，提升网络资源利用率，达到缓解网络拥堵、降低端到端时延以及减少数据卸载传输能耗的目标。

公开(公告)号：CN111542107A

公开(公告)日：2020-08-14

申请号：CN202010405524.4

申请日：2020-05-14

Applicant: 南昌工程学院

Inventor： 韩龙哲 ,  赵嘉 ,  刘光明 ,  王文丰 ,  敖晨晨 ,  李胜 ,  鞠昌林

IPC: H04W52/14 ,  H04W52/34 ,  H04W72/04 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于增强学习的移动边缘网络资源分配方法，S1，建立基于CSCN由两张相同参数的卷积神经网络qeval、qtarget构成深度增强学习模型；S2，将基站与用户终端之间的时变信道环境建模为有限状态的时变马尔科夫信道，确定基站与用户之间的归一化信道系数，并输入卷积神经网络qeval。该基于增强学习的移动边缘网络资源分配方法，以便在考虑了高复杂度的时变信道基础上，使用深度增强学习模型，将计算复杂度转换到训练深度增强学习模型的过程中，从而以较低复杂度选取决策动作，确定时变信道环境下，基站到用户终端的子载波局部最优分配，最大限度地提高时变信道环境中的能量效率。