公开(公告)号：CN114613168A

公开(公告)日：2022-06-10

申请号：CN202210408279.1

申请日：2022-04-19

Applicant: 南京信息工程大学

Inventor： 孔燕 ,  卢学亮

IPC: G08G1/08 ,  G08G1/01 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于记忆网络的深度强化学习交通信号控制方法，包括：1、建立基于DQN算法的交通信号灯控制主网络和目标值网络；主网络将t时刻状态值st输入LSTM中得到t+1时刻预测状态值合并st和并输入全连接网络，得到预测Q值的最大值和对应动作2、初始化算法参数，采集路况信息建立状态值st；3、将st输入主网络得到预测Q值取最大值的动作采用1‑ε策略选择动作at；4、执行动作at并计算奖励rt和状态st+1；5、在经验池中随机抽样B个记录，通过最小化损失函数训练主网络参数；6、定时更新目标值网络参数，根据当前路况更新st，跳转至步骤3继续执行。该方法根据当前路况以及对当前路况的预测来计算Q值，能够更精确地对交通信号进行控制。

公开(公告)号：CN114613168B

公开(公告)日：2023-02-24

申请号：CN202210408279.1

申请日：2022-04-19

Applicant: 南京信息工程大学

Inventor： 孔燕 ,  卢学亮

IPC: G08G1/08 ,  G08G1/01 ,  G06N3/0442 ,  G06N3/092

Abstract: 本发明公开了一种基于记忆网络的深度强化学习交通信号控制方法，包括：1、建立基于DQN算法的交通信号灯控制主网络和目标值网络；主网络将t时刻状态值st输入LSTM中得到t+1时刻预测状态值合并st和并输入全连接网络，得到预测Q值的最大值和对应动作2、初始化算法参数，采集路况信息建立状态值st；3、将st输入主网络得到预测Q值取最大值的动作采用1‑ε策略选择动作at；4、执行动作at并计算奖励rt和状态st+1；5、在经验池中随机抽样B个记录，通过最小化损失函数训练主网络参数；6、定时更新目标值网络参数，根据当前路况更新st，跳转至步骤3继续执行。该方法根据当前路况以及对当前路况的预测来计算Q值，能够更精确地对交通信号进行控制。