一种基于强化学习的AUV三维路径规划方法

    公开(公告)号:CN109540151B

    公开(公告)日:2020-01-17

    申请号:CN201910041354.3

    申请日:2019-01-16

    Abstract: 本发明设计了一种基于强化学习的AUV三维路径规划方法,首先根据已知的水下工作环境进行建模并对AUV进行全局路径规划;然后在仿真系统中针对AUV特殊的工作环境及其规划目标设计奖励值,利用基于自组织神经网络改进的Q学习方法对AUV进行避障训练,将训练所得到的避障策略写入机器人内部控制系统;最后机器人下水后接收全局路径规划节点,AUV将全局规划的路径节点作为目标节点以计算目标艏向规划航行,当遇到突发障碍时利用避障策略进行避障;该方法既保证AUV航行路径的经济性又保证了遇到突发障碍时的安全性,同时可以提高路径规划精度,降低规划时间,增强AUV的环境自适应性;该方法可应用于搭载了避障声纳能自主航行的AUV。

    漂流探测水下机器人装置及控制方法

    公开(公告)号:CN108312151A

    公开(公告)日:2018-07-24

    申请号:CN201810057279.5

    申请日:2018-01-22

    Abstract: 本发明公开了一种漂流探测水下机器人装置及控制方法,属于探测水下机器人技术领域。机器人主体是鱼雷型结构,在机器人艏部搭载水文探测设备ADCP(声学多普勒剖面测速仪)、测距声呐、应急抛载;中间舱段为耐压舱,耐压舱内分为能源舱和控制舱两部分,能源舱内有两块高能量密度锂电池,分别用于动力和控制供电;尾段搭载保形天线(包含北斗定位与通讯、无线电和WiFi)、DVL、深度计、测距声呐。在机器人尾部左右两侧布置高效率推进器,在机器人前后各设置一个垂向槽道推进器。本发明根据机器人周围环境、任务指令,智能实现选择漂流模式的开启或关闭,从而实现低功耗、长航程,长时间的探测监控任务。

    一种基于强化学习的AUV行为规划及动作控制方法

    公开(公告)号:CN110333739B

    公开(公告)日:2020-07-31

    申请号:CN201910775602.7

    申请日:2019-08-21

    Abstract: 一种基于强化学习的AUV行为规划及动作控制方法,属于水下机器人技术领域。为了解决AUV规划复杂任务时过于依靠人工经验,以及基于智能算法设计的控制方法需要精确的环境模型,从而导致训练经验局限,在现实环境中应用困难的问题。本发明将AUV探测隧洞定义为总任务;完成任务对应的行为包括:趋向目标、墙壁跟踪和避障;将机器人在水下需要完成所规划的行为而产生的控制指令定义为动作;AUV在执行隧洞探测任务时,使用深度强化学习DQN算法进行实时行为规划,构建对应的深度学习的行为网络,完成隧洞探测任务的规划。通过DDPG方法训练AUV的动作网络,将AUV视为环境模型,得到力到状态的映射,从而实现AUV的动作控制。

    漂流探测水下机器人装置及控制方法

    公开(公告)号:CN108312151B

    公开(公告)日:2020-02-07

    申请号:CN201810057279.5

    申请日:2018-01-22

    Abstract: 本发明公开了一种漂流探测水下机器人装置及控制方法,属于探测水下机器人技术领域。机器人主体是鱼雷型结构,在机器人艏部搭载水文探测设备ADCP(声学多普勒剖面测速仪)、测距声呐、应急抛载;中间舱段为耐压舱,耐压舱内分为能源舱和控制舱两部分,能源舱内有两块高能量密度锂电池,分别用于动力和控制供电;尾段搭载保形天线(包含北斗定位与通讯、无线电和WiFi)、DVL、深度计、测距声呐。在机器人尾部左右两侧布置高效率推进器,在机器人前后各设置一个垂向槽道推进器。本发明根据机器人周围环境、任务指令,智能实现选择漂流模式的开启或关闭,从而实现低功耗、长航程,长时间的探测监控任务。

    基于AUV切法向速度模型的多尺度无迹卡尔曼滤波估计方法

    公开(公告)号:CN109269497A

    公开(公告)日:2019-01-25

    申请号:CN201810855318.6

    申请日:2018-07-31

    Abstract: 本发明水下潜航器领域,公开了基于AUV切法向速度模型的多尺度无迹卡尔曼滤波估计方法,获取状态序列X(N)和观测值序列Z(N);将状态序列X(N)和观测值序列Z(N)分解到尺度i上;获取离散系统下两种运动状态的切法向速度模型的状态转移方程;获取不同尺度之间状态方程与量测方程的矩阵转换关系包括系统过程噪声,系统量测方程和系统量测噪声;获取在尺度i下的状态一步预测方程,状态向量的更新方程,协方差的更新方程和MUKF的增益Kk;通过对观测序列的细节信息部分进行阈值处理来降噪;对滤波后的近似信息和降噪处理后的观测值细节信息进行小波重构得到原始尺度上的最优估计。本发明提高状态预测的准确性,降低噪声干扰,提高滤波估计精度。

    海洋机器人用多层跨尺度海洋环境场建模方法

    公开(公告)号:CN119885882A

    公开(公告)日:2025-04-25

    申请号:CN202411973765.3

    申请日:2024-12-30

    Abstract: 海洋机器人用多层跨尺度海洋环境场建模方法,涉及环境建模领域。本发明是为了解决海洋机器人在复杂、动态海洋环境中的环境场模型精度低的问题。本发明生成目标海域的栅格图,并通过国际天气预报模型获取包含海风、海浪、海流在内的环境场预测数据存入栅格区域;随后,利用环境感知模块采集当前及历史环境场观测数据。根据海洋机器人的自身特性,将环境场时空模型划分为大、中、小三类模型:利用环境场预测数据构建大尺度时空模型,基于大尺度模型进一步构建中尺度模型,结合观测数据生成小尺度模型。最后,通过小尺度模型的观测数据对中尺度模型的环境场数据进行更新。

    一种基于多约束目标的水下机器人运动规划方法

    公开(公告)号:CN109241552B

    公开(公告)日:2022-04-05

    申请号:CN201810764979.8

    申请日:2018-07-12

    Abstract: 一种基于多约束目标的水下机器人运动规划方法,属于机器学习以及水下机器人运动规划领域。模型构建阶段:将机器人避障声呐的信号与流速传感器的流速信号转化为当前环境;根据动力学约束,建立离散动作空间;以水下障碍物作为约束,建立奖赏函数;基于多目标约束建立马尔可夫决策过程,为算法实现建立基础;训练阶段:基于Q学习算法进行训练,在当前环境,基于贪心策略执行动作,每执行一步策略,基于原始策略进行评估并更新一次策略,改进策略直到适应环境,实现规划目的。本发明考虑了水流、碍航物、目标等多约束目标,将强化学习方法与水下多约束目标结合,实现了水下机器人的运动规划,具有较强的实时性,并且可以适用于多种环境。

    一种基于强化学习的AUV行为规划及动作控制方法

    公开(公告)号:CN110333739A

    公开(公告)日:2019-10-15

    申请号:CN201910775602.7

    申请日:2019-08-21

    Abstract: 一种基于强化学习的AUV行为规划及动作控制方法,属于水下机器人技术领域。为了解决AUV规划复杂任务时过于依靠人工经验,以及基于智能算法设计的控制方法需要精确的环境模型,从而导致训练经验局限,在现实环境中应用困难的问题。本发明将AUV探测隧洞定义为总任务;完成任务对应的行为包括:趋向目标、墙壁跟踪和避障;将机器人在水下需要完成所规划的行为而产生的控制指令定义为动作;AUV在执行隧洞探测任务时,使用深度强化学习DQN算法进行实时行为规划,构建对应的深度学习的行为网络,完成隧洞探测任务的规划。通过DDPG方法训练AUV的动作网络,将AUV视为环境模型,得到力到状态的映射,从而实现AUV的动作控制。

Patent Agency Ranking