一种基于强化学习的AUV行为规划及动作控制方法

    公开(公告)号:CN110333739A

    公开(公告)日:2019-10-15

    申请号:CN201910775602.7

    申请日:2019-08-21

    Abstract: 一种基于强化学习的AUV行为规划及动作控制方法,属于水下机器人技术领域。为了解决AUV规划复杂任务时过于依靠人工经验,以及基于智能算法设计的控制方法需要精确的环境模型,从而导致训练经验局限,在现实环境中应用困难的问题。本发明将AUV探测隧洞定义为总任务;完成任务对应的行为包括:趋向目标、墙壁跟踪和避障;将机器人在水下需要完成所规划的行为而产生的控制指令定义为动作;AUV在执行隧洞探测任务时,使用深度强化学习DQN算法进行实时行为规划,构建对应的深度学习的行为网络,完成隧洞探测任务的规划。通过DDPG方法训练AUV的动作网络,将AUV视为环境模型,得到力到状态的映射,从而实现AUV的动作控制。

    一种基于强化学习的AUV三维路径规划方法

    公开(公告)号:CN109540151A

    公开(公告)日:2019-03-29

    申请号:CN201910041354.3

    申请日:2019-01-16

    Abstract: 本发明设计了一种基于强化学习的AUV三维路径规划方法,首先根据已知的水下工作环境进行建模并对AUV进行全局路径规划;然后在仿真系统中针对AUV特殊的工作环境及其规划目标设计奖励值,利用基于自组织神经网络改进的Q学习方法对AUV进行避障训练,将训练所得到的避障策略写入机器人内部控制系统;最后机器人下水后接收全局路径规划节点,AUV将全局规划的路径节点作为目标节点以计算目标艏向规划航行,当遇到突发障碍时利用避障策略进行避障;该方法既保证AUV航行路径的经济性又保证了遇到突发障碍时的安全性,同时可以提高路径规划精度,降低规划时间,增强AUV的环境自适应性;该方法可应用于搭载了避障声纳能自主航行的AUV。

    一种智能水下机器人运动重规划策略

    公开(公告)号:CN108628326A

    公开(公告)日:2018-10-09

    申请号:CN201810758522.6

    申请日:2018-07-11

    Abstract: 本发明提供及一种智能水下机器人运动重规划策略,该策略将智能水下机器人的作业任务视为规划一条安全经济的航行路径并在一系列路径点上完成相应的行为,当水下机器人按照全局规划路径航行,遇到障碍物时,利用矩形避障策略进行避障,避开障碍物后根据代价函数选择点跟踪策略或路径跟踪策略,到达指定位置后完成相应任务。该策略简单易实施,智能水下机器人完成作业任务的同时保证其安全,提高机器人的环境自适应性,航行的经济型大大提高,使得机器人重规划更加完善。

    一种AUV声隐身态势评估方法

    公开(公告)号:CN108594241A

    公开(公告)日:2018-09-28

    申请号:CN201810248831.9

    申请日:2018-03-25

    CPC classification number: G01S15/88 G01S15/04 G01S15/523

    Abstract: 本发明公开了一种AUV声隐身态势评估方法,属于态势评估技术领域。本发明以各种声学数据、声呐设备参数和位置信息等为输入,建立声呐探测性能模型和信号余量模型,根据任务隐蔽性要求等级构建声呐威胁虚拟障碍物,通过声呐方程、“KoutofN”准则计算多种类型探测概率,基于信号余量SE模型确定AUV的可航行范围,在可航行范围内以渐变色表示探测概率值形成态势图。本发明的态势评估系统包含全局态势评估和实时态势评估,系统以全局态势评估结果、多种声呐探测概率、AUV可航行范围和态势图为输出结果,评估结果准确、可信度高、可视化,实现对AUV航路的隐身威胁评估,为规划系统提供隐蔽性约束条件。

    一种适用于水下机器人的快速融合避障方法

    公开(公告)号:CN107918399A

    公开(公告)日:2018-04-17

    申请号:CN201711079828.0

    申请日:2017-11-06

    CPC classification number: G05D1/10

    Abstract: 本发明提供一种适用于水下机器人的快速融合避障方法,通过测距声呐的测距标准差与方差确定AUV的定位误差区域,根据定位误差区域获得声呐安装方向上的AUV的静态安全距离。根据不同方向上的实时速度分量与静态安全距离得到相应方向上的安全警戒距离阈值。将测距声呐测得的障碍物距离数据与该方向上的安全警戒距离进行判断,当障碍物距离大于安全警戒距离时,该方向上的声呐将以基础工作间隔进行轮询工作。当障碍物距离小于或等于安全警戒距离时,该方向上的声呐将按照动态声呐工作间隔方程的输出进行轮询工作。本发明提出的可使AUV在狭窄航道内快速准确的获得障碍物距离信息,对多传感器数据进行融合,实现快速融合避障,为AUV的安全作业提供保障。

    一种潜艇隐身辅助决策系统及决策方法

    公开(公告)号:CN109539886B

    公开(公告)日:2021-06-01

    申请号:CN201910041364.7

    申请日:2019-01-16

    Abstract: 本发明提供了一种潜艇隐身辅助决策系统及决策方法,决策系统包括辅助决策方案生成模块、方案仿真推演模块、人机交互模块以及所需的数据库;决策方法为潜艇航行过程中,被探测概率超出阈值时,将探测频段、隐身态势评估中的被探测概率、潜艇与探测平台的相对运动趋势、相对位置作为方案生成模块的输入,利用基于模糊神经网络和机动规避策略建立的辅助决策方案自动生成模块,产生潜艇设备目标运行状态及潜艇目标运行状态,以及潜艇规避位置,组合形成三个待选的辅助决策方案;本发明通过集成方案生成模块和仿真推演模块,提供方案的效能评估信息,保证待选方案的合理性和有效性,应用于常规潜艇的隐蔽航渡任务,能够有效提升潜艇的动态隐身能力。

    一种智能水下机器人运动重规划策略

    公开(公告)号:CN108628326B

    公开(公告)日:2020-04-07

    申请号:CN201810758522.6

    申请日:2018-07-11

    Abstract: 本发明提供及一种智能水下机器人运动重规划策略,该策略将智能水下机器人的作业任务视为规划一条安全经济的航行路径并在一系列路径点上完成相应的行为,当水下机器人按照全局规划路径航行,遇到障碍物时,利用矩形避障策略进行避障,避开障碍物后根据代价函数选择点跟踪策略或路径跟踪策略,到达指定位置后完成相应任务。该策略简单易实施,智能水下机器人完成作业任务的同时保证其安全,提高机器人的环境自适应性,航行的经济型大大提高,使得机器人重规划更加完善。

    一种AUV声隐身态势评估方法

    公开(公告)号:CN108594241B

    公开(公告)日:2019-07-16

    申请号:CN201810248831.9

    申请日:2018-03-25

    Abstract: 本发明公开了一种AUV声隐身态势评估方法,属于态势评估技术领域。本发明以各种声学数据、声呐设备参数和位置信息等为输入,建立声呐探测性能模型和信号余量模型,根据任务隐蔽性要求等级构建声呐威胁虚拟障碍物,通过声呐方程、“KoutofN”准则计算多种类型探测概率,基于信号余量SE模型确定AUV的可航行范围,在可航行范围内以渐变色表示探测概率值形成态势图。本发明的态势评估系统包含全局态势评估和实时态势评估,系统以全局态势评估结果、多种声呐探测概率、AUV可航行范围和态势图为输出结果,评估结果准确、可信度高、可视化,实现对AUV航路的隐身威胁评估,为规划系统提供隐蔽性约束条件。

    一种潜艇隐身辅助决策系统及决策方法

    公开(公告)号:CN109539886A

    公开(公告)日:2019-03-29

    申请号:CN201910041364.7

    申请日:2019-01-16

    Abstract: 本发明提供了一种潜艇隐身辅助决策系统及决策方法,决策系统包括辅助决策方案生成模块、方案仿真推演模块、人机交互模块以及所需的数据库;决策方法为潜艇航行过程中,被探测概率超出阈值时,将探测频段、隐身态势评估中的被探测概率、潜艇与探测平台的相对运动趋势、相对位置作为方案生成模块的输入,利用基于模糊神经网络和机动规避策略建立的辅助决策方案自动生成模块,产生潜艇设备目标运行状态及潜艇目标运行状态,以及潜艇规避位置,组合形成三个待选的辅助决策方案;本发明通过集成方案生成模块和仿真推演模块,提供方案的效能评估信息,保证待选方案的合理性和有效性,应用于常规潜艇的隐蔽航渡任务,能够有效提升潜艇的动态隐身能力。

    一种基于多约束目标的水下机器人运动规划方法

    公开(公告)号:CN109241552A

    公开(公告)日:2019-01-18

    申请号:CN201810764979.8

    申请日:2018-07-12

    Abstract: 一种基于多约束目标的水下机器人运动规划方法,属于机器学习以及水下机器人运动规划领域。模型构建阶段:将机器人避障声呐的信号与流速传感器的流速信号转化为当前环境;根据动力学约束,建立离散动作空间;以水下障碍物作为约束,建立奖赏函数;基于多目标约束建立马尔可夫决策过程,为算法实现建立基础;训练阶段:基于Q学习算法进行训练,在当前环境,基于贪心策略执行动作,每执行一步策略,基于原始策略进行评估并更新一次策略,改进策略直到适应环境,实现规划目的。本发明考虑了水流、碍航物、目标等多约束目标,将强化学习方法与水下多约束目标结合,实现了水下机器人的运动规划,具有较强的实时性,并且可以适用于多种环境。

Patent Agency Ranking