一种抗感知误差的视距内空战机动策略生成方法

    公开(公告)号:CN116736729A

    公开(公告)日:2023-09-12

    申请号:CN202311014421.5

    申请日:2023-08-14

    发明人: 张娟 田成滨

    IPC分类号: G05B13/04 G06N3/04 G06N3/092

    摘要: 本发明涉及视距内空战机动策略生成技术领域,开了一种抗感知误差的视距内空战机动策略生成方法,包括,根据无人机动力学方程,分别构建敌方战机和我方战机的动力学模型,并设定视距内空战优势机动;搭建符合马尔可夫性、具有态势感知误差的仿真训练环境,并设定敌方智能机动策略;使用基于门控循环单元提取特征的近端策略优化算法,以前序态势序列作为近端策略优化算法态势观测输入,通过优势态势解算单元、门控循环单元处理态势输入,同时对训练过程进行奖励塑造,在仿真训练环境对强化学习决策智能体训练,得到智能体神经网络模型。通过本发明所提供的技术方案,能够准确做出视距内空战优势机动决策。

    一种基于K次控制深度强化学习的空管防冲突方法

    公开(公告)号:CN110084414B

    公开(公告)日:2020-03-06

    申请号:CN201910311467.0

    申请日:2019-04-18

    发明人: 李辉 王壮

    摘要: 本发明公开了一种基于K次控制深度强化学习的空管防冲突方法,包括下述步骤:首先设置使用场景中扇区内飞机的数量,并设置防冲突过程中的控制次数K;然后,在训练模式下,进行K次控制,在前K‑1次控制中,通过神经网络的作用,按照二维正态分布的方法,确定下一个位置点,并按照强化学习的方法,神经网络参数进行更新,在第K次控制中,将目的地作为下一个位置点,如此循环,完成神经网络的训练;最后,在应用模式下,使用训练完成的神经网络,可以得到不发生冲突的最短路径。本发明的方法可以应用在现有空中交通管理系统中,在不与扇区内其他飞机发生冲突的前提下,得到到达目的地的最短路径,对空管路径规划有实践意义。

    一种基于K次控制深度强化学习的空管防冲突方法

    公开(公告)号:CN110084414A

    公开(公告)日:2019-08-02

    申请号:CN201910311467.0

    申请日:2019-04-18

    发明人: 李辉 王壮

    摘要: 本发明公开了一种基于K次控制深度强化学习的空管防冲突方法,包括下述步骤:首先设置使用场景中扇区内飞机的数量,并设置防冲突过程中的控制次数K;然后,在训练模式下,进行K次控制,在前K-1次控制中,通过神经网络的作用,按照二维正态分布的方法,确定下一个位置点,并按照强化学习的方法,神经网络参数进行更新,在第K次控制中,将目的地作为下一个位置点,如此循环,完成神经网络的训练;最后,在应用模式下,使用训练完成的神经网络,可以得到不发生冲突的最短路径。本发明的方法可以应用在现有空中交通管理系统中,在不与扇区内其他飞机发生冲突的前提下,得到到达目的地的最短路径,对空管路径规划有实践意义。

    一种面向虚拟战场的全球洋流可视化方法及系统

    公开(公告)号:CN117611754B

    公开(公告)日:2024-08-20

    申请号:CN202310972638.0

    申请日:2023-08-03

    发明人: 张娟 孙胜哲

    摘要: 本发明涉及计算机图形学领域,公开了一种面向虚拟战场的全球洋流可视化方法及系统,包括如下步骤:步骤一,从海洋场数据中解析得到洋流经纬向流速属性;步骤二,根据解析出的洋流经纬向流速属性构造流向量,将洋流运动数据转储成全球洋流流动纹理;步骤三,根据得到的流向量和流动纹理,利用瓦片定向流算法得到洋流法向量;步骤四,简化光照模型结合得到的法向量得到海面反射光、海面折射光和环境漫反射光,根据得到的海面反射光、海面折射光和环境漫反射光生成可视化全球洋流。通过本发明所提供的技术方案,可以在全球的尺度上实现了洋流可视化效果。

    基于优化双向A-Star算法的潜艇全局航迹规划方法及装置

    公开(公告)号:CN116839594B

    公开(公告)日:2023-11-24

    申请号:CN202311097034.2

    申请日:2023-08-29

    发明人: 张娟 刘文

    IPC分类号: G01C21/20

    摘要: 本发明公开了基于优化双向A‑star算法的潜艇全局航迹规划方法及装置,包括:基于舰载电子海图进行航迹规划,建立环境格栅模型,根据环境格栅模型生成任务海域的环境栅格;将生成的环境栅格根据潜艇隐蔽效能值进行预处理;将启发函数g(n)和h(n)函数结合潜艇隐蔽效能值Cn进行动态加权改进,进行航迹节点扩展;将步骤三中的扩展得到的航迹节点,依据潜艇机动评估,将不符合机动性的航迹节点采取三次非均匀B样条曲线法进行平滑,得到平滑后的航迹节点;将步骤四生成的航迹节点,从起始航迹节点到目标航迹节点连接,生成最终的全局航迹。通过本发明,能够在潜艇航迹规划中规划出既隐蔽

    一种线性变换球面分布的实时间接光泽反射渲染方法

    公开(公告)号:CN114022599A

    公开(公告)日:2022-02-08

    申请号:CN202110792673.5

    申请日:2021-07-14

    发明人: 曾威 李辉 周俊成

    IPC分类号: G06T15/00 G06T15/50

    摘要: 本发明属于实时渲染领域,公开了一种线性变换球面分布的实时间接光泽反射渲染方法,确定虚拟点光源生成算法并且进行改进;通过定义重要性因子,确定虚拟点光源的半径,并且根据俄罗斯轮盘法进行虚拟点光源的随机剔除;在基于立即辐射度算法的全局光照渲染管线中,采用了一种线性变换球面分布的数学思想,将光照计算中复杂的球面分布线性变换到余弦分布中进行计算;通过对全局光照计算公式进行改进,将线性变换矩阵与具体着色点解耦。本发明具体稳定的渲染效率、较低的系统开销和较低的渲染误差。

    一种基于深度随机博弈的空战机动策略生成技术

    公开(公告)号:CN112052511A

    公开(公告)日:2020-12-08

    申请号:CN202010546485.X

    申请日:2020-06-15

    摘要: 本发明公开了一种基于深度随机博弈的近距空战机动策略生成技术,包括以下步骤:首先,依据1V1近距空战流程构建战机博弈对抗的训练环境,并设置敌方机动策略;其次,以随机博弈为标准,构建空战对抗双方的智能体,确定每个智能体的状态空间、动作空间和奖励函数;然后,使用随机博弈与深度强化学习相结合的极大极小值DQN算法构建神经网络,并训练我方智能体;最后,根据训练好的神经网络,通过线性规划方法得到空战态势下的最优机动策略,与敌方进行博弈对抗。本发明结合了随机博弈与深度强化学习的思想,提出了极大极小值DQN算法来获取一种最优的空战机动策略,可以应用于现有的空战机动引导系统中,能够实时准确地做出有效决策引导战机占据有利的态势位置。

    一种基于期望值函数的深度强化学习训练加速方法

    公开(公告)号:CN111339690A

    公开(公告)日:2020-06-26

    申请号:CN202010313846.6

    申请日:2020-04-20

    IPC分类号: G06F30/20 G06N3/08

    摘要: 本发明提出一种基于期望值函数的深度强化学习训练加速方法。该方法针对深度强化学习因奖励稀疏而训练缓慢的问题,引入基于期望值函数的辅助评价指标来评估动作表现,从而加快训练速度。该方法主要包括:构建神经网络并进行参数初始化;计算相邻两个状态的动作值函数;利于动作值函数与策略的期望求得期望值函数,并通过期望值函数得到辅助评价指标;最后通过添加辅助评价指标项构建符合损失函数用以更准确的更新值函数网络参数。该方法适用于深度Q神经网络架构算法,能够通过更准确地评估动作表现来加快深度强化学习的训练速度。

    一种基于融合神经网络参数的分布式深度强化学习方法

    公开(公告)号:CN110490319B

    公开(公告)日:2020-06-26

    申请号:CN201910693037.X

    申请日:2019-07-30

    发明人: 李辉

    IPC分类号: G06N3/08

    摘要: 本发明提出了一种基于融合神经网络参数的分布式深度强化学习。包括如下步骤:(1)在每个工作节点上部署深度强化学习代理;(2)每隔一定时间,所有工作节点将各自的当前网络参数和当前得到的平均回报发向参数服务器;(3)参数服务器接收所有工作节点发送过来的当前网络参数和平均回报;(4)参数服务器根据每个工作节点的平均回报占所有平均回报总和的比例来确定参数系数;(5)参数服务器根据所有的当前网络参数和其参数系数计算新的当前网络参数;(6)所有工作节点使用这个新的当前网络参数开始学习。本发明提升了深度强化算法的效果且有效的解决了工作节点频繁向参数服务器发送神经网络的参数梯度所带来的时间消耗问题。

    一种多高度下雷达地形遮蔽盲区的快速计算方法

    公开(公告)号:CN111060882A

    公开(公告)日:2020-04-24

    申请号:CN202010151465.2

    申请日:2020-03-06

    IPC分类号: G01S7/40

    摘要: 本发明提出了一种多高度下雷达地形遮蔽盲区的快速计算方法,包括:设置雷达的参数信息,将需要计算的多个突防飞行高度进行排序;使用二分查找法和邻近贪心法计算飞机飞行的最小高度层和最大高度层下雷达的探测范围;将最小高度层和最大高度层下雷达的探测范围,作为次小高度层的最小探测范围和最大探测范围,在此区间内计算次小高度层的雷达探测范围,将计算结果作为下一次计算中的最小探测范围;计算出所有高度的雷达探测范围,得到多高度下雷达地形遮蔽盲区,将计算出的结果着色显示。本发明能够有效减少计算量,快速求取多高度下的雷达地形遮蔽盲区。