公开(公告)号：CN112218250A

公开(公告)日：2021-01-12

申请号：CN202011097625.6

申请日：2020-10-14

Applicant: 西安电子科技大学

Inventor： 吴锦桥 ,  李海翔 ,  方敏 ,  李晓 ,  李海昆 ,  陈博 ,  刘玉阳

IPC: H04W4/08 ,  H04W4/40 ,  H04W40/24

Abstract: 本发明公开一种基于强化学习的城市场景车联网多播路由方法，其步骤为：1)构建车联网；2)车联网中的每个车辆节点周期性地发送HELLO消息包；3)车辆节点更新QV表中的Q值；4)车联网中的每个路边节点周期性地发送HELLO消息包；5)路边节点更新QC表中的Q值；6)多播组源车辆节点将数据包发送到多播组源路边节点；7)多播组源路边节点将目的路边节点的数据包转发到多播组成员路边节点集合中的每一个路边节点；8)多播组成员路边节点将多播组源路边节点的数据包转发到多播组成员车辆节点集合中的每一个车辆节点。本发明能有效降低端到端时延，可用于城市环境下车联网的多播数据路由。

公开(公告)号：CN112218250B

公开(公告)日：2021-09-28

申请号：CN202011097625.6

申请日：2020-10-14

Applicant: 西安电子科技大学

Inventor： 吴锦桥 ,  李海翔 ,  方敏 ,  李晓 ,  李海昆 ,  陈博 ,  刘玉阳

IPC: H04W4/08 ,  H04W4/40 ,  H04W40/24

Abstract: 本发明公开一种基于强化学习的城市场景车联网多播路由方法，其步骤为：1)构建车联网；2)车联网中的每个车辆节点周期性地发送HELLO消息包；3)车辆节点更新QV表中的Q值；4)车联网中的每个路边节点周期性地发送HELLO消息包；5)路边节点更新QC表中的Q值；6)多播组源车辆节点将数据包发送到多播组源路边节点；7)多播组源路边节点将目的路边节点的数据包转发到多播组成员路边节点集合中的每一个路边节点；8)多播组成员路边节点将多播组源路边节点的数据包转发到多播组成员车辆节点集合中的每一个车辆节点。本发明能有效降低端到端时延，可用于城市环境下车联网的多播数据路由。

公开(公告)号：CN110164151A

公开(公告)日：2019-08-23

申请号：CN201910545162.6

申请日：2019-06-21

Applicant: 西安电子科技大学

Inventor： 方敏 ,  闫呈祥 ,  徐维 ,  陈烨 ,  徐筱 ,  李海昆

IPC: G08G1/08 ,  G06N3/04

Abstract: 本发明公开了一种基于分布式深度循环Q网络的交通灯控制方法，主要解决现有技术难以实现多路口之间协作及对多路口建模出现状态空间过大的问题。其实现方案是：1)读取城市交通路网信息，建立各个路口的车辆交通状态集合，并采用协作图的方法将读取的城市交通路网信息转换为邻接矩阵进行存储；2)根据路网中的车辆等待时间和车辆到达目的地数量，设置通用的性能评价指标；3)从各个路口车辆交通状态集合中获取各个路口各时刻的状态集、动作集和动作奖励值；4)建立分布式深度循环Q网络交通灯控制模型，根据该模型对城市路网交通灯进行控制。本发明能实现各路口之间的协作，避免了状态空间爆炸问题，可用于城市交通管理，减少城市交通拥堵。