边缘环境下基于DQN的服务迁移方法

    公开(公告)号:CN117202265A

    公开(公告)日:2023-12-08

    申请号:CN202311287891.9

    申请日:2023-10-08

    Applicant: 福州大学

    Abstract: 本发明提出一种边缘环境下基于DQN的服务迁移方法。以探索最优服务迁移策略。其中,所提出的DQNSM方法通过设置经验回放池和目标网络以达到更快的收敛速度和更好的收敛效果。基于城市实际车辆轨迹数据集,大量仿真实验验证了本发明所提出的DQNSM方法的可行性和有效性。与4种基准方法相比,DQNSM能快速做出服务迁移决策,在不同的MEC环境参数设置下,均能取得最好的效果。

    多边缘蜂窝车联网的收益感知服务迁移与资源分配方法

    公开(公告)号:CN119562311A

    公开(公告)日:2025-03-04

    申请号:CN202411755265.2

    申请日:2024-12-03

    Applicant: 福州大学

    Abstract: 本发明提出多边缘蜂窝车联网的收益感知服务迁移与资源分配方法,包括服务迁移子问题方法及资源分配子问题方法;在服务迁移子问题方法中,采用面向复杂动态多边缘密集蜂窝车联网环境的服务迁移与资源分配统一模型,采用基于概率稀疏自注意力的车辆轨迹预测方法来提升预测精度并为服务迁移决策提供依据,使用基于改进多智能体强化学习MARL的服务迁移方法来根据轨迹预测探索最优迁移策略,引入异步更新机制来降低actor网络估计策略梯度时的高方差,在资源分配的子问题方法中,使用基于隐枚举的资源分配方法,以在保证解质量的同时减小搜索空间;本发明能够有效提升ESP的长期收益,并在不同场景下均展现出更加优越的性能。

    一种面向边缘车联网系统的智能服务迁移方法

    公开(公告)号:CN117880852A

    公开(公告)日:2024-04-12

    申请号:CN202410057645.2

    申请日:2024-01-16

    Applicant: 福州大学

    Abstract: 本发明提供了一种面向边缘车联网系统的智能服务迁移方法,包括以下步骤:(1)DRL智能体根据所有车辆的相关信息,生成服务迁移决策;(2)MEC控制器根据服务迁移决策,完成服务实例的迁移;(3)MEC服务器根据服务迁移决策,接收或转发任务请求到车辆对应的服务实例进行处理;(4)MEC服务器基于凸优化理论,为现有机器上正在运行的服务实例分配计算资源以支持其并行运行;(5)在服务迁移过程中,记录各个时隙的状态、采取的动作、获得的奖励以及转入的新状态,根据以上信息,DRL智能体会生成相应的服务迁移决策。应用本技术方案可有效解决了模型在动态多变边缘车联网环境中自适应能力不足的问题。

    多约束边环境下计算卸载与资源分配联合优化系统及方法

    公开(公告)号:CN115567978A

    公开(公告)日:2023-01-03

    申请号:CN202211200913.9

    申请日:2022-09-29

    Applicant: 福州大学

    Abstract: 本发明涉及一种多约束边环境下计算卸载与资源分配联合优化系统及方法,针对多约束条件下动态的MEC系统设计了一种统一的计算卸载与资源分配模型,并将执行任务的时延与能耗作为优化目标。设计了一种任务优先级预处理机制,能够根据任务的数据量与移动设备的性能为任务分配优先级,并提供一种基于深度强化学习的计算卸载与资源分配联合优化方法JOR‑RL,在JOA‑RL方法中,critic网络采用基于值函数的单步更新方式,用于评价当前卸载方案与资源调度策略;而actor网络采用基于策略梯度的更新方式,用于输出卸载方案与资源调度策略。本发明在提升任务执行成功率以及降低任务执行时延与能耗方面效果显著。

    基于深度强化学习的边缘服务迁移方法

    公开(公告)号:CN118939400A

    公开(公告)日:2024-11-12

    申请号:CN202411005631.2

    申请日:2024-07-25

    Applicant: 福州大学

    Abstract: 本发明提出基于深度强化学习的边缘服务迁移方法,所述方法针对动态多变的边缘系统环境使用统一的服务迁移模型,将长期QoS作为优化目标,并使用迁移、通信和计算方面的延迟进行度量,同时基于深度强化学习DRL框架定义MEC环境下服务迁移问题的状态空间、动作空间和奖励函数,并将上述问题形式化表示为马尔科夫决策过程MDP,同时在基于深度强化学习的边缘服务迁移方法DPSM中采用深度确定性策略梯度训练深度神经网络,以在复杂动态的边缘环境中获取最优迁移策略;本发明用于探索边缘环境下的最优服务迁移策略,该方法通过直接输出迁移决策,以应对庞大的动作空间,并在各种场景下均展现出更加优越的性能。

Patent Agency Ranking