公开(公告)号：CN113411110B

公开(公告)日：2022-07-22

申请号：CN202110623890.1

申请日：2021-06-04

Applicant: 东南大学

Inventor： 戚晨皓 ,  姜国力 ,  王宇杰

IPC: H04B7/06 ,  H04B7/08 ,  G06N3/04

Abstract: 本发明公开了一种基于深度强化学习的毫米波通信波束训练方法，该方法通过定义强化学习模型中的状态、目标、奖励等要素在波束训练这一实际问题中的具体表示来对毫米波信道进行追踪；将状态定义为图像的形式，使用卷积神经网络对强化学习中的值函数进行近似，动作定义为基于上一时刻信道最优波束组合的移动方向、距离以及波束覆盖范围的三元组形式；在设计奖励函数时，将一个时间片内有效的数据可达速率作为目标值；在神经网络的训练过程中，使用了Q学习的方法来更新网络参数；利用训练的深度Q网络进行预测，选择Q值最大的动作，该动作对应下一时刻需要测试的波束组合。

公开(公告)号：CN113411110A

公开(公告)日：2021-09-17

申请号：CN202110623890.1

申请日：2021-06-04

Applicant: 东南大学

Inventor： 戚晨皓 ,  姜国力 ,  王宇杰

IPC: H04B7/06 ,  H04B7/08 ,  G06N3/04

Abstract: 本发明公开了一种基于深度强化学习的毫米波通信波束训练方法，该方法通过定义强化学习模型中的状态、目标、奖励等要素在波束训练这一实际问题中的具体表示来对毫米波信道进行追踪；将状态定义为图像的形式，使用卷积神经网络对强化学习中的值函数进行近似，动作定义为基于上一时刻信道最优波束组合的移动方向、距离以及波束覆盖范围的三元组形式；在设计奖励函数时，将一个时间片内有效的数据可达速率作为目标值；在神经网络的训练过程中，使用了Q学习的方法来更新网络参数；利用训练的深度Q网络进行预测，选择Q值最大的动作，该动作对应下一时刻需要测试的波束组合。

公开(公告)号：CN110417444A

公开(公告)日：2019-11-05

申请号：CN201910609278.1

申请日：2019-07-08

Applicant: 东南大学

Inventor： 戚晨皓 ,  王宇杰 ,  马文焱

IPC: H04B7/0413 ,  H04B7/06 ,  H04B7/08 ,  G06N3/04

Abstract: 本发明公开了一种基于深度学习的毫米波信道波束训练方法，属于电通信技术领域，所要解决的技术问题在于降低波束训练的开销，在波束训练中加入一个事先训练好的神经网络，用于预测信道矩阵对应的最佳收发波束组合。低精度模式下，在已设计好的收发波束集合中选择若干组收发波束组合，对信道进行实测，将实测结果输入神经网络，将神经网络的输出作为信道矩阵的最佳收发波束组合的预测。在高精度模式下，先实施低精度模式的初测，补测阶段在初测输出的最佳收发波束组合概率向量基础上，选择若干组不同的收发波束组合，对信道进行实测，最终将初测和补测中接收信号强度最大的收发波束组合作为信道矩阵的最佳收发波束组合的预测。

公开(公告)号：CN110417444B

公开(公告)日：2020-08-04

申请号：CN201910609278.1

申请日：2019-07-08

Applicant: 东南大学

Inventor： 戚晨皓 ,  王宇杰 ,  马文焱

IPC: H04B7/0413 ,  H04B7/06 ,  H04B7/08 ,  G06N3/04

Abstract: 本发明公开了一种基于深度学习的毫米波信道波束训练方法，属于电通信技术领域，所要解决的技术问题在于降低波束训练的开销，在波束训练中加入一个事先训练好的神经网络，用于预测信道矩阵对应的最佳收发波束组合。低精度模式下，在已设计好的收发波束集合中选择若干组收发波束组合，对信道进行实测，将实测结果输入神经网络，将神经网络的输出作为信道矩阵的最佳收发波束组合的预测。在高精度模式下，先实施低精度模式的初测，补测阶段在初测输出的最佳收发波束组合概率向量基础上，选择若干组不同的收发波束组合，对信道进行实测，最终将初测和补测中接收信号强度最大的收发波束组合作为信道矩阵的最佳收发波束组合的预测。