基于强化学习的增强高铁自动驾驶控制系统准时性的方法

    公开(公告)号:CN116859731A

    公开(公告)日:2023-10-10

    申请号:CN202310804271.1

    申请日:2023-07-03

    Abstract: 本发明提供一种基于强化学习的增强高铁自动驾驶控制系统准时性的方法,通过建立基本数据模块和列车运行仿真模块,设置奖励函数和额外单步奖励,设计神经网络结构,构建高速列车自动驾驶训练模型;确定训练参数执行训练,得到高速列车自动驾驶控制模型;本发明改进列车准时性奖励函数的设置方式,在保留原有全局奖励方法的基础上,设置一个在一轮训练过程中的每个单步中都能给予智能体准时性反馈的额外奖励函数,使奖励函数的引导性更强,解决准时性稀疏奖励难以获得的问题,提高列车自动驾驶控制系统的训练效率,更好地满足自动驾驶列车运行过程中的准时性要求。

    一种柔性前臂康复训练装置

    公开(公告)号:CN111513990B

    公开(公告)日:2024-09-13

    申请号:CN202010448466.3

    申请日:2020-05-25

    Applicant: 燕山大学

    Abstract: 本发明属于医疗设备技术领域,具体涉及一种柔性前臂康复训练装置。柔性前臂康复训练装置包括前臂支架、对称转动连接在前臂支架两端的第一摆臂和第二摆臂、安装在第一摆臂上端和第二摆臂上端的电机支架、安装在电机支架上的旋转电机、与旋转电机输出轴同轴连接的第一带轮、通过皮带与第一带轮连接的第二带轮,通过皮带传动实现前臂旋前旋后的康复训练,本发明可放置在桌子边、平台边等载具即可进行康复训练,受训练场景限制程度小、便于移动、训练方便、体积小质量轻及提高空间占有率等优点,从而提高病人的训练效率和训练完成度。

    基于强化学习的智能车辆高速公路匝道汇入决策方法

    公开(公告)号:CN116884238A

    公开(公告)日:2023-10-13

    申请号:CN202310564555.8

    申请日:2023-05-18

    Applicant: 燕山大学

    Abstract: 本发明涉及一种基于强化学习的智能车辆高速公路匝道汇入决策方法,涉及智能车辆领域,用于提高智能车辆汇入成功率,减少交通事故。该方法将高速公路匝道与主路的交叉点设置为合流点,将匝道以及位于合流点后S1米处和合流点前S2米处的主干道设置为控制区域;在控制区域内,将智能车辆投影到主路的目标车道上,投影智能车辆到合流点距离和匝道上智能车辆到合流点距离相等;确定投影智能车辆前面车辆和后面车辆,获取它们的速度和位置作为环境车辆信息;获取智能车辆与合流点距离、智能车辆速度和加速度作为智能车辆信息;根据智能车辆信息、环境车辆信息,采用强化学习DDPG模型进行加速度和前轮转角调整,逐步实现成功汇入。

    一种多姿态多自由度的下肢康复机器人

    公开(公告)号:CN113332100A

    公开(公告)日:2021-09-03

    申请号:CN202110647489.1

    申请日:2021-06-10

    Applicant: 燕山大学

    Abstract: 本发明属于医疗器械技术领域,具体涉及一种多姿态多自由度的下肢康复机器人。本发明包括支撑机构、安装在支撑机构上的悬吊机构、对称安装在支撑机构上的机械腿宽度调节机构以及安装在机械腿宽度调节机构上的机械腿;机械腿包括依次设置的髋关节组件、大腿组件、膝关节组件、小腿组件、踝关节组件以及脚踏板;支撑机构包括固定平台、一端转动连接在固定平台上且另一端通过立柱搭接在固定平台上的活动平台以及固定端安装在固定平台上其伸缩端转动连接在活动平台上的姿态变换电动推杆。本发明的大腿组件和小腿组件均可调节长度以适用不同身高的患者,且在患者坐、躺以及站三种姿态下均可做康复训练,结构简单易于控制。

    一种柔性前臂康复训练装置

    公开(公告)号:CN111513990A

    公开(公告)日:2020-08-11

    申请号:CN202010448466.3

    申请日:2020-05-25

    Applicant: 燕山大学

    Abstract: 本发明属于医疗设备技术领域,具体涉及一种柔性前臂康复训练装置。柔性前臂康复训练装置包括前臂支架、对称转动连接在前臂支架两端的第一摆臂和第二摆臂、安装在第一摆臂上端和第二摆臂上端的电机支架、安装在电机支架上的旋转电机、与旋转电机输出轴同轴连接的第一带轮、通过皮带与第一带轮连接的第二带轮,通过皮带传动实现前臂旋前旋后的康复训练,本发明可放置在桌子边、平台边等载具即可进行康复训练,受训练场景限制程度小、便于移动、训练方便、体积小质量轻及提高空间占有率等优点,从而提高病人的训练效率和训练完成度。

    一种八自由度上肢康复训练臂及装置

    公开(公告)号:CN111588591A

    公开(公告)日:2020-08-28

    申请号:CN202010449337.6

    申请日:2020-05-25

    Applicant: 燕山大学

    Abstract: 本发明属于康复医疗设备技术领域,具体涉及一种八自由度上肢康复训练臂及装置,训练臂包括肩胛骨运动组件、肩关节组件、肘关节组件、腕关节组件、大臂组件以及小臂组件;肩胛骨运动组件包括:肩胛骨第一支架、肩抬升下降电机、肩抬升下降支架以及肩前探后移电机;胸锁关节锁骨连杆的一端与肩前探后移电机的输出轴固定连接,另一端连接肩关节组件。训练装置包括升降机构和设置在升降机构输出端的两臂间距调节机构,两个上肢康复训练臂对称安装在两臂间距调节机构上。本发明能够帮助患者进行肩胛骨、肩、肘、腕关节的全面康复训练,可以帮助患者完成肩部的前探/后移、抬升/下降动作,对患者的上肢进行更彻底全面的康复训练,提高训练效率。

    考虑周车驾驶风格的高速公路换道决策方法及系统

    公开(公告)号:CN118953411A

    公开(公告)日:2024-11-15

    申请号:CN202411301025.5

    申请日:2024-09-18

    Applicant: 燕山大学

    Abstract: 本申请涉及自动驾驶行为决策技术领域,公开了一种考虑周车驾驶风格的高速公路换道决策方法及系统。对周车的驾驶风格进行分类,确定表征不同驾驶风格横纵向特征的特征参数;在第一仿真环境中,使用考虑上述特征参数的第一奖励函数训练不同驾驶风格的周车决策模型,使周车决策模型在不同的特征参数下体现出不同的驾驶风格。之后在第二仿真环境中,使用第二奖励函数训练高速公路换道决策模型。第二仿真环境中包括不同驾驶风格的周车,其行为决策通过不同驾驶风格的周车决策模型获得,能够模拟复杂的交通场景,且第二奖励函数考虑了周车驾驶风格,使得高速公路换道决策模型对不同驾驶风格周车具有更好的泛化性,提高了换道决策的鲁棒性与安全性。

    考虑周围车辆社会偏好的自动驾驶行为决策系统

    公开(公告)号:CN118004217A

    公开(公告)日:2024-05-10

    申请号:CN202410072764.5

    申请日:2024-01-18

    Applicant: 燕山大学

    Abstract: 本发明涉及一种考虑周围车辆社会偏好的自动驾驶行为决策系统,用于解决现有交通环境中因驾驶员社会偏好具有不确定性而导致自动驾驶决策困难的问题。本方案采用分层强化学习实现自动驾驶行为决策,其元控制器利用自主车辆的历史状态进行保持车道继续行驶、换道或返回原车道决策选择;其中返回原车道为自主车辆通过中断换道实现,中断条件为其刚开始换道或在换道过程中车身边缘刚接触目标车道邻侧车道线时,根据当前时刻状态识别出目标车道后方车辆社会偏好类型为利己型;控制器为基于状态历史信息,进行自主车辆在本车道或者邻车道中心线上的目标轨迹采样点规划;元控制器和控制器采用相同的包括基于周围车辆的社会偏好进行目标决策的奖励计算。

Patent Agency Ranking