一种基于值函数的参数化深度强化学习算法

    公开(公告)号:CN113569466A

    公开(公告)日:2021-10-29

    申请号:CN202110772706.X

    申请日:2021-07-08

    摘要: 本发明属于深度强化学习技术领域,具体为一种基于值函数的参数化深度强化学习算法。本发明是将强化学习中的状态动作值函数(Q值)分解为状态值函数(V值)和优势函数(A值)之和,V值用于估计各离散动作下的期望累计奖励,A值用于估计各连续动作带来的累计奖励偏差;通过构建单个神经网络,同时输出最优离散动作和连续动作选择。本发明算法同时解决了Q值过估计问题,在动作决策时离散动作V值仅取决于其对应的连续动作,在神经网络训练过程中连续动作更新仅与其对应的离散动作有关。仿真实验结果表明,相比于其余参数化强化学习算法,本发明具有更快的收敛速度和更好的收敛效果。

    一种基于分层强化学习的车联网边缘计算任务卸载方法

    公开(公告)号:CN113568675B

    公开(公告)日:2024-04-12

    申请号:CN202110772708.9

    申请日:2021-07-08

    摘要: 本发明属于车联网边缘计算技术领域,具体为一种基于分层强化学习的车联网边缘计算任务卸载方法。本发明首先将车联网边缘计算网络中的任务卸载问题建模为以最小化时延‑能耗‑费用联合损失函数为目标的优化问题,其中优化参数为任务执行顺序、计算决策、本地资源分配和传输功率控制;然后将具有任务关联性的应用以有向无环图的形式表示,并利用图神经网络挖掘其中的隐含特征,同时利用分层强化学习算法处理离散连续混合动作空间。以真实环境中采取的汽车速度作为数据集进行仿真实验,结果表明,相比于启发式算法,本发明方法在多种环境参数下均能自适应地调节任务卸载和资源分配策略,进而更有效地降低系统损失函数。

    一种基于分层强化学习的车联网边缘计算任务卸载方法

    公开(公告)号:CN113568675A

    公开(公告)日:2021-10-29

    申请号:CN202110772708.9

    申请日:2021-07-08

    摘要: 本发明属于车联网边缘计算技术领域,具体为一种基于分层强化学习的车联网边缘计算任务卸载方法。本发明首先将车联网边缘计算网络中的任务卸载问题建模为以最小化时延‑能耗‑费用联合损失函数为目标的优化问题,其中优化参数为任务执行顺序、计算决策、本地资源分配和传输功率控制;然后将具有任务关联性的应用以有向无环图的形式表示,并利用图神经网络挖掘其中的隐含特征,同时利用分层强化学习算法处理离散连续混合动作空间。以真实环境中采取的汽车速度作为数据集进行仿真实验,结果表明,相比于启发式算法,本发明方法在多种环境参数下均能自适应地调节任务卸载和资源分配策略,进而更有效地降低系统损失函数。

    基于微小区架构的边缘计算微服务部署和任务调度方法

    公开(公告)号:CN116347473A

    公开(公告)日:2023-06-27

    申请号:CN202310199383.9

    申请日:2023-03-03

    摘要: 本发明属于移动边缘计算微服务技术领域,具体为在5G及车联网场景下基于微小区架构的边缘计算微服务部署和任务调度方法。本发明方法包括:首先对5G场景下基于微小区的边缘计算网络结构进行描述;在此基础上对微服务部署和任务调度问题进行系统性建模,优化目标为最小化所有用户的延迟,其主要表现为处理数据上传延迟;然后将该问题通过分解并完全求解子问题将原始的问题转化为线性整数规划问题;采用L2Box‑ADMM算法对线性整数规划问题进行求解。测试结果表明,相比于其他的微服务部署和任务调度算法,本发明算法可以找出满足资源约束条件的使得总延迟更小的微服务部署和任务调度策略,能将与最优解的差距降低35%。

    一种适应网络孪生场景的接入认证方法

    公开(公告)号:CN117915328A

    公开(公告)日:2024-04-19

    申请号:CN202410117892.7

    申请日:2024-01-29

    申请人: 复旦大学

    摘要: 本发明属于未来网络和接入认证技术领域,具体为一种适应网络孪生场景下的接入认证方法。本发明方法包括:终端设备注册阶段,终端向认证中心发起注册请求,获取上网身份标识;该身份与网络孪生建立映射关系,以避免移动性带来的设备无法识别问题;接入阶段,终端设备向接入点发起接入请求,并请求对应的网络孪生的位置信息以及访问令牌信息;接入点验证设备合法信息,通过验证后协商出安全的会话通道并响应终端设备对网络孪生信息的请求;认证阶段,终端设备通过访问令牌以及随机数完成与网络孪生的双向身份认证,并协商出后续通信的会话密钥;本发明用于终端设备在基于网络孪生的云原生网络架构下的接入认证,可提高用户、终端、网络的安全性。