混合车队中基于强化学习控制策略的车辆控制方法

    公开(公告)号:CN112162555B

    公开(公告)日:2021-07-16

    申请号:CN202011012147.4

    申请日:2020-09-23

    Applicant: 燕山大学

    Abstract: 本发明提供一种混合车队中基于强化学习控制策略的车辆控制方法,其包括:初始化混合车队,建立固定参考系和惯性参考系;建立惯性参考系中混合车辆纵向队列的模型;构造拉格朗日二次型队列跟驰代价函数,并得到Q值函数的表达式;对于由周围车辆对自身车辆影响所获得的信息,首先运用深度Q学习网络进行训练;然后运用DDPG算法进行参数的训练,若Q值函数和控制输入两个过程同时实现收敛,就完成对当下最优控制策略的求解;将最优控制策略输入混合车辆纵向队列的模型中,混合车队更新自身状态;循环往复,最终完成混合车队中车辆的控制任务。本发明系统解决了混合车队自主训练的问题。

    基于Q学习的自主水下航行器协助下水下数据收集方法

    公开(公告)号:CN112866911A

    公开(公告)日:2021-05-28

    申请号:CN202110032022.6

    申请日:2021-01-11

    Applicant: 燕山大学

    Abstract: 本发明公开一种基于Q学习的自主水下航行器协助下水下数据收集方法,涉及水下传感器网络数据收集技术领域。该方法包括:划分水下监测区域,每个区域生成基于最优刚性图的传感器网络;采用Q学习算法对传感器进行局部路由决策;自主水下航行器根据数据值和位置选择目标数据收集器;采用Q学习算法规划自主水下航行器到达目标点的路径;自主水下航行器在PD控制器控制下对规划路径跟踪。当到达自主水下航行器规定访问时间后,自主水下航行器上浮至水面,将数据传送到控制中心,完成本周期数据收集任务。本发明可以在水流环境中及存在环境障碍下工作,具有平衡和降低能耗,提高网络稳定性,提高传输成功率等优点。

    一种基于信道建模的自主水下航行器路径规划方法

    公开(公告)号:CN112666948A

    公开(公告)日:2021-04-16

    申请号:CN202011533775.7

    申请日:2020-12-21

    Applicant: 燕山大学

    Abstract: 本发明公开了一种基于信道建模的自主水下航行器路径规划方法,涉及水声通信和自动控制技术领域;该方法包括:利用概率模型对自主水下航行器活动区域建立信道预估模型;基于所述信道预估模型估计监测区域内任意位置的信道质量;以所述信道质量以及路径长短作为启发式搜索算法的代价项,得到改进的启发式搜索算法;通过改进的启发式搜索算法对自主水下航行器的移动路径进行规划。本发明使自主水下航行器在向目标点移动过程中选择信道质量较好的路径,解决了自主水下航行器在移动过程中通信质量不佳的问题。

    基于贝叶斯估计的水下目标追踪方法

    公开(公告)号:CN107422326B

    公开(公告)日:2020-09-11

    申请号:CN201710200549.9

    申请日:2017-03-30

    Applicant: 燕山大学

    Abstract: 一种基于贝叶斯估计的水下目标追踪方法:在水下探测区域,随机部署n个传感器节点构建水声传感网络,根据与周围传感器节点的距离确定邻居集合;根据水下传感器节点的监测信息,设计单节点贝叶斯估计策略判断目标是否存在;在单节点贝叶斯估计基础上,设计一致性贝叶斯估计策略的先验概率及后验概率,以提高目标追踪精度;根据任一传感器节点i在k时刻对目标位置的概率信息,通过对目标可能存在位置的概率信息分析,构建目标存在位置的相对熵,用以描述不同传感器节点对目标存在位置估测概率的准确性;计算出不同传感器节点对水下目标估计位置的相对熵后,通过最优化寻找相对熵最小时所对应的位置空间点,该点即为当前目标最有可能存在的位置;构建最优化公式,进而可实现对目标的准确追踪。

    一种基于模板匹配与特征聚类的视差图像拼接方法及系统

    公开(公告)号:CN110544202A

    公开(公告)日:2019-12-06

    申请号:CN201910392915.4

    申请日:2019-05-13

    Applicant: 燕山大学

    Abstract: 本发明公开一种基于模板匹配与特征聚类的视差图像拼接方法及系统。方法包括:获取源图像和目标图像;采用模板匹配方法确定所述源图像和所述目标图像的重叠区域;在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法,筛选正确的特征点对集;对筛选的正确的特征点对集进行聚类分割,得到局部单应阵模型;根据所述局部单应阵模型进行图像配准和拼接。采用本发明的方法或系统能够快速定位图像重叠区域,以降低外点干扰和计算代价,且确保视差图像中能够提取到足够的匹配点对信息,实现图像的局部精确对齐与视差处理。最终将方法整合于对应的系统之中,使其得以准确地运行实施。

    一种基于强化学习的多水下机器人编队控制方法

    公开(公告)号:CN109947131A

    公开(公告)日:2019-06-28

    申请号:CN201910274101.0

    申请日:2019-04-08

    Applicant: 燕山大学

    Abstract: 本发明公开了一种基于强化学习的多水下机器人编队控制方法,涉及水下机器人控制领域。本发明中,水下机器人编队中的各机器人节点获取自身位置后,控制中心给出虚拟领导者的轨迹信息,并发送至虚拟领导者的邻居节点;水下机器人节点之间建立拓扑通信网络,每个水下机器人节点只和邻居节点进行通信保持编队稳定;水下机器人编队使用当前控制策略追踪轨迹,每个节点通过和环境以及邻居节点进行交互计算一步代价函数,通过令价值函数最小改进当前的控制策略,在价值迭代和策略改进两个步骤都达到收敛时,水下机器人追踪期望轨迹的控制策略达到最优,使用最优控制策略达到准确追踪的目标。

    航天隔热复合材料粘接缺陷检测方法

    公开(公告)号:CN109298031A

    公开(公告)日:2019-02-01

    申请号:CN201710659437.X

    申请日:2017-08-04

    Applicant: 燕山大学

    Abstract: 本发明公开了一种航天隔热复合材料粘接缺陷检测方法,利用同面电容成像系统对航天隔热复合材料粘接缺陷检测,同面电容成像系统主要包括电容传感器、数据采集系统和图像重建计算机三大部分。本发明是基于Kalman滤波的同面电容图像重建算法较好的克服了电容成像系统的病态问题,重建图像分辨率较高,针对缺胶、气泡等不同类型的隔热材料粘接缺陷可进行有效识别,检测效果明显;通过不断的研究完善图像重建算法,增加测量值样本数目,可进一步提高隔热材料粘接层的缺陷检测质量,提升缺陷检测精度。

    一种面向水下移动目标精确定位的区域最优解算法

    公开(公告)号:CN105974419B

    公开(公告)日:2018-09-04

    申请号:CN201610223643.1

    申请日:2016-04-12

    Applicant: 燕山大学

    Abstract: 一种面向水下移动目标精确定位的区域最优解算法,包括以下步骤:部署水下传感器节点,获取节点位置信息;设定节点的激活阈值,并使节点在初始时处于休眠状态;休眠节点周期性判断是否转变为激活状态;处于激活状态的节点发送带有标记的声波对目标进行探测;寻找激活节点中剩余能量最高的节点作为水下数据处理中心,接收另外三组目标信息构成定位方程组求解目标位置;定义区域最优解算法解决实际中大量出现的定位方程组出现相交区域的情况,将获得的最优解作为该时刻由定位方程组所得到的目标位置;激活节点在连续的五个周期内不满足节点的激活条件,将重新回到休眠状态。本发明具有提高传感器网络的数据利用率、定位精度高、能量消耗小等优点。

    一种基于拍卖模式的水下机器人多目标选择方法

    公开(公告)号:CN105068550B

    公开(公告)日:2017-10-20

    申请号:CN201510518011.3

    申请日:2015-08-21

    Applicant: 燕山大学

    Abstract: 一种基于拍卖模式的水下机器人多目标选择方法,包括以下步骤:在给定监测水域,部署多个具有感知功能的水下移动机器人,水下移动机器人通过自身携带传感器确定自身以及目标的位置信息;利用位置信息计算代价函数、价值函数及收益函数;进而构建一个虚拟的拍卖公共平台,基于荷兰式递减公开拍卖的形式,对多个目标进行拍卖;已经完成选择的水下机器人退出多目标选择平台,其余未完成选择的水下机器人循环选择,最终完成整个多目标选择过程。本发明多目标选择策略可根据目标位置的变化动态合理地选择所对应的目标点,同时有效提高了选择过程的稳定性。

    基于距离与视差信息的水下机器人避障方法

    公开(公告)号:CN104571128B

    公开(公告)日:2017-06-20

    申请号:CN201410827493.6

    申请日:2014-12-26

    Applicant: 燕山大学

    Abstract: 一种基于距离与视差信息的水下机器人避障方法,包括以下步骤:控制装置根据作业任务和海图数据库信息对水下机器人进行全局轨迹规划;探测声呐与摄像头分别作为全局与局部障碍测量仪器,以获取水下机器人与障碍物的相对距离与视差信息;控制装置进而判断是否需要避障,利用预测控制调整避障策略;若水下机器人达到目标点,则轨迹规划结束。本发明具有可动态调整壁障策略、路径更优、躲避效果好、可靠性高等优点,能够应对复杂障碍,提高了水下机器人执行任务的可靠性。

Patent Agency Ranking