-
公开(公告)号：CN113721655A
公开(公告)日：2021-11-30
申请号：CN202110988096.7
申请日：2021-08-26
Applicant: 南京大学
IPC: G05D1/10
Abstract: 本发明公开一种控制周期自适应的强化学习无人机稳定飞行控制方法。本发明针对无人机飞行时灵敏性与稳定性的权衡问题，提出了基于强化学习的无人机自适应周期的控制方法。共包含以下关键环节：(1)构造动作增广的策略模型，在策略模型的动作输出中加入是否需要执行该动作的标志位。(2)在环境中运行策略模型时，若标志位为“是”，则执行策略模型输出的动作，并计一定的动作惩罚值；否则不执行该动作，且无惩罚值。(3)使用强化学习算法，通过策略模型与环境的交互，以最大化环境奖励并最小化动作惩罚值为目标，对策略模型进行优化。本发明使得无人机能够对其控制周期进行自适应的调整，同时保证了无人机的性能与飞行稳定性。
-
公开(公告)号：CN113276883A
公开(公告)日：2021-08-20
申请号：CN202110464610.7
申请日：2021-04-28
Applicant: 南京大学
Abstract: 本发明公开一种基于动态生成环境的无人车行驶策略规划方法及实现装置，(1)在模拟器中构建无人驾驶环境。(2)初始化强化学习参数及网络策略模型。(3)与环境交互，收集无人驾驶车辆当前状态，由策略网络进行动作采样，在模拟器中执行动作并进入新的状态。(4)收集车辆在一段生成环境中的累积奖励以及是否成功完成任务，并建立一段新的生成环境。(5)对于车辆的行驶策略，在重复(3)中的操作采集一定强化学习样本后，进行强策略迭代。(6)对于车辆所面临的环境，将由(4)中所述的模式不断生成，并基于对是否成功以及累积奖励的收集，抽取那些失败道路以及低累积奖励道路的环境参数，在这些路段进行反复多次训练。(7)持续上述步骤训练直到策略收敛。
-
公开(公告)号：CN112162564A
公开(公告)日：2021-01-01
申请号：CN202011020765.3
申请日：2020-09-25
Applicant: 南京大学
Abstract: 本发明公开一种基于模仿学习和强化学习算法的无人机飞行控制方法：创建无人机飞行仿真环境模拟器；定义飞行的基本动作集合；根据飞行基本动作将轨迹数据进行分类；对于每个飞行动作，利用模仿学习学出从飞行基本动作到原始动作的映射网络参数；统计每个基本动作的最小连续行动数量；构建上层的强化学习网络，并将最小连续行动数量作为飞机动作不一致性的惩罚p加入；在模拟器中，获取当前的观测信息和奖励，使用pDQN算法，选取对应飞行基本动作；将飞机自身的状态信息输入到飞行基本行动对应的模仿学习神经网络中，输出模拟器的原始行动；将得到的原始行动输入到模拟器中获取下个时刻的观测和奖励；使用pDQN算法进行训练，直到上层的策略网络收敛。
-
公开(公告)号：CN112131661A
公开(公告)日：2020-12-25
申请号：CN202010946929.9
申请日：2020-09-10
Applicant: 南京大学
Abstract: 本发明公开一种无人机自主跟拍运动目标的方法，包括在模拟器中训练跟拍虚拟目标，实现步骤为：(1)构建无人机模拟器；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练；所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。
-
公开(公告)号：CN110222667B
公开(公告)日：2023-04-07
申请号：CN201910519984.7
申请日：2019-06-17
Applicant: 南京大学
Abstract: 本发明公开一种基于计算机视觉的开放道路交通参与者数据采集方法，包括对道路上行人及车辆的行动数据进行采集，获取到包含有交通行为的视频；用目标检测网络得到交通参与者检测的数据；提取图像中所有的特征点，并除去检测到的交通参与者上的特征点；基于检测到的特征点，对视频和检测结果进行增稳处理；用目标追踪算法得到每个交通参与者的轨迹；用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵；并计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；对于每一条轨迹，估计得到每个轨迹点的速度并对轨迹滤波；将道路情况以图像的形式绘制出来；提取出每个交通参与者的特征描述。
-
Patent Agency Ranking
公开(公告)号：CN112162564B
公开(公告)日：2021-09-28
申请号：CN202011020765.3
申请日：2020-09-25
Applicant: 南京大学
Abstract: 本发明公开一种基于模仿学习和强化学习算法的无人机飞行控制方法：创建无人机飞行仿真环境模拟器；定义飞行的基本动作集合；根据飞行基本动作将轨迹数据进行分类；对于每个飞行动作，利用模仿学习学出从飞行基本动作到原始动作的映射网络参数；统计每个基本动作的最小连续行动数量；构建上层的强化学习网络，并将最小连续行动数量作为飞机动作不一致性的惩罚p加入；在模拟器中，获取当前的观测信息和奖励，使用pDQN算法，选取对应飞行基本动作；将飞机自身的状态信息输入到飞行基本行动对应的模仿学习神经网络中，输出模拟器的原始行动；将得到的原始行动输入到模拟器中获取下个时刻的观测和奖励；使用pDQN算法进行训练，直到上层的策略网络收敛。
-
公开(公告)号：CN112131660A
公开(公告)日：2020-12-25
申请号：CN202010944781.5
申请日：2020-09-10
Applicant: 南京大学
Abstract: 本发明公开一种基于多智能体强化学习的无人机集群协同学习方法，构造基于空气动力学的环境模拟器；每个无人机获取并维护本机的局部观测值；作为student，每个无人机获取并维护来自队友的建议观测值；作为teacher，为其他无人机给出指导值；基于本机局部观测值与从队友获取的建议观测值执行动作策略，获取奖励并转移到下一状态；基于MADDPG思想进行训练，直到值网络与策略网络收敛；执行阶段以分布式的方式进行，即每个无人机基于局部观测值和队友提供的建议观测值，通过动作策略执行。本发明可以在成本较低的前提下实现无人机集群之间观测值的互补，实现无人机单独自主决策，解决“主从”结构带来的通信问题。
-
公开(公告)号：CN112131660B
公开(公告)日：2024-07-26
申请号：CN202010944781.5
申请日：2020-09-10
Applicant: 南京大学
IPC: G06F30/15 , G06F30/27 , G06F30/28 , G06F18/214 , G06N3/092 , G06N3/0464
Abstract: 本发明公开一种基于多智能体强化学习的无人机集群协同学习方法，构造基于空气动力学的环境模拟器；每个无人机获取并维护本机的局部观测值；作为student，每个无人机获取并维护来自队友的建议观测值；作为teacher，为其他无人机给出指导值；基于本机局部观测值与从队友获取的建议观测值执行动作策略，获取奖励并转移到下一状态；基于MADDPG思想进行训练，直到值网络与策略网络收敛；执行阶段以分布式的方式进行，即每个无人机基于局部观测值和队友提供的建议观测值，通过动作策略执行。本发明可以在成本较低的前提下实现无人机集群之间观测值的互补，实现无人机单独自主决策，解决“主从”结构带来的通信问题。
-
公开(公告)号：CN113276852B
公开(公告)日：2022-09-23
申请号：CN202110375328.1
申请日：2021-04-08
Applicant: 南京大学
Abstract: 本发明公开一种基于最大熵强化学习框架的无人驾驶车道保持方法，包括：(1)创建无人车仿真道路环境；设置环境车行驶策略和行人的运动模型，设计奖励函数以及碰撞检测条件；(2)利用深度神经网络近似状态值函数、动作值函数以及策略，并初始化网络参数；(3)获得无人车初始状态，使其与环境交互，收集数据，并存储到缓冲池；(4)对状态值函数网络、动作值函数网络以及策略网络进行更新；(5)对目标值函数网络进行更新，直到策略网络将近收敛；(6)将状态值网络优化目标中熵项系数置零，继续训练直到策略网络完全收敛；(7)对于训练好的策略模型，根据网络输出的动作概率分布，选择概率值最大的动作给无人车执行。
-
公开(公告)号：CN113286275A
公开(公告)日：2021-08-20
申请号：CN202110441049.0
申请日：2021-04-23
Applicant: 南京大学
Abstract: 本发明公开一种基于多智能体强化学习的无人机集群高效通信方法，构建无人机飞行环境模拟器；随机选取一架无人机作为队长并标记；每架无人机获取并维护本机的局部观测值，将自身观测值进行编码并发送给队长；队长根据每架无人机的自身观测值，分别对全局观测值进行attention注意力机制处理，根据信息的重要程度来决定信息的权重，继而将计算好的观测值发送给每个队友，作为队友的全局观测值；训练阶段以全局观测值作为训练数据，直到策略网络收敛；执行阶段以分布式的方式进行；对队长的存活给一个额外的奖励。本发明可以在通信开销较小的条件下解决无人机集群集中式信息交互的问题，给予无人机自主决策权。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.015 seconds)
