一种基于强化学习的AUV三维路径规划方法

    公开(公告)号:CN109540151B

    公开(公告)日:2020-01-17

    申请号:CN201910041354.3

    申请日:2019-01-16

    IPC分类号: G01C21/20 G05D1/10

    摘要: 本发明设计了一种基于强化学习的AUV三维路径规划方法,首先根据已知的水下工作环境进行建模并对AUV进行全局路径规划;然后在仿真系统中针对AUV特殊的工作环境及其规划目标设计奖励值,利用基于自组织神经网络改进的Q学习方法对AUV进行避障训练,将训练所得到的避障策略写入机器人内部控制系统;最后机器人下水后接收全局路径规划节点,AUV将全局规划的路径节点作为目标节点以计算目标艏向规划航行,当遇到突发障碍时利用避障策略进行避障;该方法既保证AUV航行路径的经济性又保证了遇到突发障碍时的安全性,同时可以提高路径规划精度,降低规划时间,增强AUV的环境自适应性;该方法可应用于搭载了避障声纳能自主航行的AUV。

    漂流探测水下机器人装置及控制方法

    公开(公告)号:CN108312151A

    公开(公告)日:2018-07-24

    申请号:CN201810057279.5

    申请日:2018-01-22

    摘要: 本发明公开了一种漂流探测水下机器人装置及控制方法,属于探测水下机器人技术领域。机器人主体是鱼雷型结构,在机器人艏部搭载水文探测设备ADCP(声学多普勒剖面测速仪)、测距声呐、应急抛载;中间舱段为耐压舱,耐压舱内分为能源舱和控制舱两部分,能源舱内有两块高能量密度锂电池,分别用于动力和控制供电;尾段搭载保形天线(包含北斗定位与通讯、无线电和WiFi)、DVL、深度计、测距声呐。在机器人尾部左右两侧布置高效率推进器,在机器人前后各设置一个垂向槽道推进器。本发明根据机器人周围环境、任务指令,智能实现选择漂流模式的开启或关闭,从而实现低功耗、长航程,长时间的探测监控任务。

    一种基于多约束目标的水下机器人运动规划方法

    公开(公告)号:CN109241552B

    公开(公告)日:2022-04-05

    申请号:CN201810764979.8

    申请日:2018-07-12

    摘要: 一种基于多约束目标的水下机器人运动规划方法,属于机器学习以及水下机器人运动规划领域。模型构建阶段:将机器人避障声呐的信号与流速传感器的流速信号转化为当前环境;根据动力学约束,建立离散动作空间;以水下障碍物作为约束,建立奖赏函数;基于多目标约束建立马尔可夫决策过程,为算法实现建立基础;训练阶段:基于Q学习算法进行训练,在当前环境,基于贪心策略执行动作,每执行一步策略,基于原始策略进行评估并更新一次策略,改进策略直到适应环境,实现规划目的。本发明考虑了水流、碍航物、目标等多约束目标,将强化学习方法与水下多约束目标结合,实现了水下机器人的运动规划,具有较强的实时性,并且可以适用于多种环境。

    一种基于强化学习的AUV三维路径规划方法

    公开(公告)号:CN109540151A

    公开(公告)日:2019-03-29

    申请号:CN201910041354.3

    申请日:2019-01-16

    IPC分类号: G01C21/20 G05D1/10

    摘要: 本发明设计了一种基于强化学习的AUV三维路径规划方法,首先根据已知的水下工作环境进行建模并对AUV进行全局路径规划;然后在仿真系统中针对AUV特殊的工作环境及其规划目标设计奖励值,利用基于自组织神经网络改进的Q学习方法对AUV进行避障训练,将训练所得到的避障策略写入机器人内部控制系统;最后机器人下水后接收全局路径规划节点,AUV将全局规划的路径节点作为目标节点以计算目标艏向规划航行,当遇到突发障碍时利用避障策略进行避障;该方法既保证AUV航行路径的经济性又保证了遇到突发障碍时的安全性,同时可以提高路径规划精度,降低规划时间,增强AUV的环境自适应性;该方法可应用于搭载了避障声纳能自主航行的AUV。

    漂流探测水下机器人装置及控制方法

    公开(公告)号:CN108312151B

    公开(公告)日:2020-02-07

    申请号:CN201810057279.5

    申请日:2018-01-22

    摘要: 本发明公开了一种漂流探测水下机器人装置及控制方法,属于探测水下机器人技术领域。机器人主体是鱼雷型结构,在机器人艏部搭载水文探测设备ADCP(声学多普勒剖面测速仪)、测距声呐、应急抛载;中间舱段为耐压舱,耐压舱内分为能源舱和控制舱两部分,能源舱内有两块高能量密度锂电池,分别用于动力和控制供电;尾段搭载保形天线(包含北斗定位与通讯、无线电和WiFi)、DVL、深度计、测距声呐。在机器人尾部左右两侧布置高效率推进器,在机器人前后各设置一个垂向槽道推进器。本发明根据机器人周围环境、任务指令,智能实现选择漂流模式的开启或关闭,从而实现低功耗、长航程,长时间的探测监控任务。

    基于AUV切法向速度模型的多尺度无迹卡尔曼滤波估计方法

    公开(公告)号:CN109269497A

    公开(公告)日:2019-01-25

    申请号:CN201810855318.6

    申请日:2018-07-31

    IPC分类号: G01C21/16 G01C21/20

    摘要: 本发明水下潜航器领域,公开了基于AUV切法向速度模型的多尺度无迹卡尔曼滤波估计方法,获取状态序列X(N)和观测值序列Z(N);将状态序列X(N)和观测值序列Z(N)分解到尺度i上;获取离散系统下两种运动状态的切法向速度模型的状态转移方程;获取不同尺度之间状态方程与量测方程的矩阵转换关系包括系统过程噪声,系统量测方程和系统量测噪声;获取在尺度i下的状态一步预测方程,状态向量的更新方程,协方差的更新方程和MUKF的增益Kk;通过对观测序列的细节信息部分进行阈值处理来降噪;对滤波后的近似信息和降噪处理后的观测值细节信息进行小波重构得到原始尺度上的最优估计。本发明提高状态预测的准确性,降低噪声干扰,提高滤波估计精度。

    一种潜艇隐身辅助决策系统及决策方法

    公开(公告)号:CN109539886B

    公开(公告)日:2021-06-01

    申请号:CN201910041364.7

    申请日:2019-01-16

    摘要: 本发明提供了一种潜艇隐身辅助决策系统及决策方法,决策系统包括辅助决策方案生成模块、方案仿真推演模块、人机交互模块以及所需的数据库;决策方法为潜艇航行过程中,被探测概率超出阈值时,将探测频段、隐身态势评估中的被探测概率、潜艇与探测平台的相对运动趋势、相对位置作为方案生成模块的输入,利用基于模糊神经网络和机动规避策略建立的辅助决策方案自动生成模块,产生潜艇设备目标运行状态及潜艇目标运行状态,以及潜艇规避位置,组合形成三个待选的辅助决策方案;本发明通过集成方案生成模块和仿真推演模块,提供方案的效能评估信息,保证待选方案的合理性和有效性,应用于常规潜艇的隐蔽航渡任务,能够有效提升潜艇的动态隐身能力。

    一种潜艇隐身辅助决策系统及决策方法

    公开(公告)号:CN109539886A

    公开(公告)日:2019-03-29

    申请号:CN201910041364.7

    申请日:2019-01-16

    IPC分类号: F41H3/00 G06F17/50

    摘要: 本发明提供了一种潜艇隐身辅助决策系统及决策方法,决策系统包括辅助决策方案生成模块、方案仿真推演模块、人机交互模块以及所需的数据库;决策方法为潜艇航行过程中,被探测概率超出阈值时,将探测频段、隐身态势评估中的被探测概率、潜艇与探测平台的相对运动趋势、相对位置作为方案生成模块的输入,利用基于模糊神经网络和机动规避策略建立的辅助决策方案自动生成模块,产生潜艇设备目标运行状态及潜艇目标运行状态,以及潜艇规避位置,组合形成三个待选的辅助决策方案;本发明通过集成方案生成模块和仿真推演模块,提供方案的效能评估信息,保证待选方案的合理性和有效性,应用于常规潜艇的隐蔽航渡任务,能够有效提升潜艇的动态隐身能力。

    一种基于多约束目标的水下机器人运动规划方法

    公开(公告)号:CN109241552A

    公开(公告)日:2019-01-18

    申请号:CN201810764979.8

    申请日:2018-07-12

    IPC分类号: G06F17/50

    摘要: 一种基于多约束目标的水下机器人运动规划方法,属于机器学习以及水下机器人运动规划领域。模型构建阶段:将机器人避障声呐的信号与流速传感器的流速信号转化为当前环境;根据动力学约束,建立离散动作空间;以水下障碍物作为约束,建立奖赏函数;基于多目标约束建立马尔可夫决策过程,为算法实现建立基础;训练阶段:基于Q学习算法进行训练,在当前环境,基于贪心策略执行动作,每执行一步策略,基于原始策略进行评估并更新一次策略,改进策略直到适应环境,实现规划目的。本发明考虑了水流、碍航物、目标等多约束目标,将强化学习方法与水下多约束目标结合,实现了水下机器人的运动规划,具有较强的实时性,并且可以适用于多种环境。

    一种基于深度Q学习的智能水下机器人行为体系结规划方法

    公开(公告)号:CN108873687A

    公开(公告)日:2018-11-23

    申请号:CN201810759163.6

    申请日:2018-07-11

    摘要: 本发明属于水下机器人技术领域,具体设计一种基于深度Q学习的智能水下机器人行为体系结构规划方法。包括:AUV行为规划体系结构分层设计;基于深度Q学习的行为规划及动作规划策略设计。主要流程为:将AUV的行为规划体系结构划分为“任务‑行为‑动作”三个层次,首先任务分解层将AUV收到的任务指令分解为各个行为,然后行为规划层通过获取到的环境信息对完成任务所需要的行为进行规划,最后动作执行层利用Q学习的方法训练AUV完成最优动作规划,通过控制AUV执行机构产生动作达到目标指令。本方法利用强化学习的方法训练水下机器人,使AUV能够在真实的动态水下环境中实现自主行为规划,省去了大量逻辑编程,提高了水下机器人的智能性。