一种基于深度强化学习的多无人机协同辅助通信优化方法

    公开(公告)号:CN117933517A

    公开(公告)日:2024-04-26

    申请号:CN202410120022.5

    申请日:2024-01-29

    Applicant: 安徽大学

    Inventor: 王辛迪 汪晶

    Abstract: 本发明涉及一种基于深度强化学习的多无人机协同辅助通信优化方法,包括:对地面用户以及无人机的状态信息进行二维场景重建;构建无人机组实时总功耗数学模型;构建探索激励模块;建立σ个相同结构的深度强化学习网络;建立基于单调值函数分解的混合网络,输入所有的无人机个体Q函数,组成无人机总体价值Q函数,得到最大化无人机系统吞吐量和最小化能耗的联合飞行路径。本发明增强了无人机在训练初始阶段对环境的主动探索效,有效提高了整体训练效果,并结合建立的优先经验回放池有效提高了模型对样本的利用率;通过训练多无人机的总体Q函数,在帮助无人机规划出最佳路径以减少能耗的同时,能够更好地满足地面用户通信质量需求。

    多无人机协同通信的优化方法、系统和装置

    公开(公告)号:CN119496553A

    公开(公告)日:2025-02-21

    申请号:CN202510065359.5

    申请日:2025-01-16

    Applicant: 安徽大学

    Abstract: 本发明属于无人机通信领域,具体涉及一种多无人机协同通信的优化方法、系统和装置。该方法包括:在多个通信无人机中指定主机和副机;通基于DDQN算法预训练出的第一决策网络和第二决策网络对主机和副机的飞行轨迹进行优化。其中,第一决策网络以主机和用户的状态信息为输入;第二决策网络以主机、副机以及用户的状态信息为输入。第二决策模块还可以根据不同工作模式生成两类不同的动作。副机结合主机的临时援助域判断是否需要执行支援:是则驱动副机到达临时援助域,然后执行辅助模式的动作;否则执行主动模式的动作。本发明解决了现有多无人机协同通信系统中的无人机的调度难度高,通信覆盖率提升难度大,用户体验不佳的问题。

    结合图像特征与超像素分区合并的云量密度计算方法

    公开(公告)号:CN119992147A

    公开(公告)日:2025-05-13

    申请号:CN202510105046.8

    申请日:2025-01-23

    Applicant: 安徽大学

    Abstract: 本发明属于计算机视觉领域,具体涉及一种结合图像特征与超像素分区合并的云量密度计算方法,及其对应的装置。该方法包括:一、对包含天空和云层的原始图像P0进行预处理,得到对应不同色彩空间的灰度图像H1、HSV图像P1、Lab图像P2,以及颜色增强图像E1和灰度增强图像E2;二、将P0划分为多个超像素区域,然后结合H1、P1、P2、E1、E2的特性信息,对背景进行排除;并对属于云层或天空的超像素区域进行逐步合并;三、提取超像素区域的S通道和Lab色彩空间三通道的值,生成四维特征向量,并输入到K‑means算法中进行聚类。四、根据K‑means算法的聚类结果计算云量密度。本发明解决了现有传统图像分割技术难以处理天空与云层的图像分割任务的问题。

    基于动态场景预测的无人机通信充电混合路径优化方法

    公开(公告)号:CN118348787A

    公开(公告)日:2024-07-16

    申请号:CN202410447836.X

    申请日:2024-04-15

    Applicant: 安徽大学

    Abstract: 本发明涉及一种基于动态场景预测的无人机通信充电混合路径优化方法,包括:构建动态场景系统;构建用户移动模型、数据上载信道模型、无人机充电耗电模型、路径优化目标模型;确定状态集S、动作集A和奖励函数rt;构建联合离线、在线学习优化的第一框架;构建LSTM预测优化的第二框架;根据第一框架、第二框架、状态集S、动作集A和奖励函数rt,结合Double DQN算法求解得到最优路径策略π*。本发明通过联合离线、在线学习的框架和基于长短期记忆网络的场景预测框架,结合深度强化学习方法对无人机的通信充电混合路径进行求解,在数据实时性要求较高的情况下,通过实现对动态场景信息的预测为无人机决策提供有效指引,实现了无人机通信系统的高数据上载效率。

    基于用户位置动态预测的无人机辅助通信系统优化方法

    公开(公告)号:CN118101034A

    公开(公告)日:2024-05-28

    申请号:CN202410218265.2

    申请日:2024-02-28

    Applicant: 安徽大学

    Inventor: 王辛迪 程浩 梁栋

    Abstract: 本发明涉及一种基于用户位置动态预测的无人机辅助通信系统优化方法,包括:建立无人机机载电源电池组的数学模型;建立无人机与用户之间的关联性指标;建立无人机感受野数据库;得到无人机感受野内未来时刻用户的位置情况;得到优化后的双深度Q网络;对无人机飞行方向和飞行距离进行优化;利用长短期记忆网络对未来用户分布变化进行预测,求出最大化无人机系统吞吐量和最小化能耗的飞行轨迹,最终得到最优策略π*(s)。本发明采用深度强化学习框架,并通过添加卷积网络和双深度Q网络来提取场景特征,能够更好地应对复杂的环境;采用无人机变速方案,进一步缩短了任务完成时间;能够适应不同的复杂环境,并具有较高的智能化水平。

    多无人机协同通信的优化方法、系统和装置

    公开(公告)号:CN119496553B

    公开(公告)日:2025-04-11

    申请号:CN202510065359.5

    申请日:2025-01-16

    Applicant: 安徽大学

    Abstract: 本发明属于无人机通信领域,具体涉及一种多无人机协同通信的优化方法、系统和装置。该方法包括:在多个通信无人机中指定主机和副机;通基于DDQN算法预训练出的第一决策网络和第二决策网络对主机和副机的飞行轨迹进行优化。其中,第一决策网络以主机和用户的状态信息为输入;第二决策网络以主机、副机以及用户的状态信息为输入。第二决策模块还可以根据不同工作模式生成两类不同的动作。副机结合主机的临时援助域判断是否需要执行支援:是则驱动副机到达临时援助域,然后执行辅助模式的动作;否则执行主动模式的动作。本发明解决了现有多无人机协同通信系统中的无人机的调度难度高,通信覆盖率提升难度大,用户体验不佳的问题。

    一种基于用户分布时序预测的无人机辅助通信系统优化方法

    公开(公告)号:CN117235886A

    公开(公告)日:2023-12-15

    申请号:CN202311207520.5

    申请日:2023-09-19

    Applicant: 安徽大学

    Inventor: 梁栋 程浩 王辛迪

    Abstract: 本发明涉及一种基于用户分布时序预测的无人机辅助通信系统优化方法,包括:建立无人机机载电源电池组的数学模型;建立无人机与用户之间的关联性指标;利用高斯混合分布对地面用户的二维坐标进行聚类,通过期望最大化算法得到高斯混合分布的参数;得到未来时刻混合高斯分布的参数;利用长短期记忆网络模型实现对用户分布在时间维度上的特征提取,得到地面用户群的大致分布情况;求出最大化无人机系统吞吐量和最小化能耗的飞行轨迹。本发明通过多种算法的融合构建了一个整体的决策框架,使得无人机能够更加精准地感知环境、预测未来分布趋势,可以帮助无人机规划最佳路径,在服务用户的同时,能最大程度地减少能源消耗和时间开销。

    基于DRL的无线可充电无人机数据上载路径优化方法

    公开(公告)号:CN117062182A

    公开(公告)日:2023-11-14

    申请号:CN202311129223.3

    申请日:2023-09-04

    Applicant: 安徽大学

    Abstract: 本发明涉及一种基于DRL的无线可充电无人机数据上载路径优化方法,包括:构建物联网通信及无线充电场景系统;对任务机机载电池消耗建立第一数学模型;对数据上载信道建立第二数学模型;建立无线充电过程执行时的能量补充数学模型即第三数学模型;对路径优化目标建立第四数学模型;确定状态集合S、动作集合A和奖励函数rt;利用改进的Double DQN算法进行离线学习,得到最优路径策略π*。本发明对物联网通信系统中辅助基站执行数据上载的任务机提供更便利的充电服务,在数据实时性要求较高的情况下,通过更便利的充电方法使任务机的续航能力得到明显提高,实现了无人机辅助下的物联网通信系统的高数据上载效率。

Patent Agency Ranking