公开(公告)号：CN112162555A

公开(公告)日：2021-01-01

申请号：CN202011012147.4

申请日：2020-09-23

Applicant: 燕山大学

Inventor： 罗小元 ,  刘劭玲 ,  李孟杰 ,  郑心泉 ,  刘乐

IPC: G05D1/02

Abstract: 本发明提供一种混合车队中基于强化学习控制策略的车辆控制方法，其包括：初始化混合车队，建立固定参考系和惯性参考系；建立惯性参考系中混合车辆纵向队列的模型；构造拉格朗日二次型队列跟驰代价函数，并得到Q值函数的表达式；对于由周围车辆对自身车辆影响所获得的信息，首先运用深度Q学习网络进行训练；然后运用DDPG算法进行参数的训练，若Q值函数和控制输入两个过程同时实现收敛，就完成对当下最优控制策略的求解；将最优控制策略输入混合车辆纵向队列的模型中，混合车队更新自身状态；循环往复，最终完成混合车队中车辆的控制任务。本发明系统解决了混合车队自主训练的问题。

公开(公告)号：CN116382297A

公开(公告)日：2023-07-04

申请号：CN202310507269.8

申请日：2023-05-08

Applicant: 燕山大学

Inventor： 罗小元 ,  陈甜 ,  李绍宝 ,  郑心泉

IPC: G05D1/02

Abstract: 本发明涉及智能交通控制领域，尤其涉及一种基于深度强化学习策略的带约束的混合车辆编队控制方法，该方法包括：建立车辆三阶非线性动力学模型和非线性发动机模型；构造拉格朗日二次型队列跟驰代价函数，并由此得到定义Q值函数的表达式；构造为受约束的马尔可夫决策过程；深度Q学习网络算法进行训练，用以得到大量的训练数据；通过行为者评论家的新架构，采用确定性的策略梯度更新目标网络的权重参数，获得最优动作值函数；利用深度神经网络去近似Q值函数和策略梯度网络，获得最优控制策略的求解；将最优控制策略输入到混合车辆编队纵向队列模型的无人驾驶车辆中，更新状态并循环往复，本发明解决了混合车辆编队在安全的前提下自主训练的问题。

公开(公告)号：CN112162555B

公开(公告)日：2021-07-16

申请号：CN202011012147.4

申请日：2020-09-23

Applicant: 燕山大学

Inventor： 罗小元 ,  刘劭玲 ,  李孟杰 ,  郑心泉 ,  刘乐

IPC: G05D1/02

Abstract: 本发明提供一种混合车队中基于强化学习控制策略的车辆控制方法，其包括：初始化混合车队，建立固定参考系和惯性参考系；建立惯性参考系中混合车辆纵向队列的模型；构造拉格朗日二次型队列跟驰代价函数，并得到Q值函数的表达式；对于由周围车辆对自身车辆影响所获得的信息，首先运用深度Q学习网络进行训练；然后运用DDPG算法进行参数的训练，若Q值函数和控制输入两个过程同时实现收敛，就完成对当下最优控制策略的求解；将最优控制策略输入混合车辆纵向队列的模型中，混合车队更新自身状态；循环往复，最终完成混合车队中车辆的控制任务。本发明系统解决了混合车队自主训练的问题。