-
公开(公告)号：CN110222667A
公开(公告)日：2019-09-10
申请号：CN201910519984.7
申请日：2019-06-17
Applicant: 南京大学
Abstract: 本发明公开一种基于计算机视觉的开放道路交通参与者数据采集方法，包括对道路上行人及车辆的行动数据进行采集，获取到包含有交通行为的视频；用目标检测网络得到交通参与者检测的数据；提取图像中所有的特征点，并除去检测到的交通参与者上的特征点；基于检测到的特征点，对视频和检测结果进行增稳处理；用目标追踪算法得到每个交通参与者的轨迹；用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵；并计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；对于每一条轨迹，估计得到每个轨迹点的速度并对轨迹滤波；将道路情况以图像的形式绘制出来；提取出每个交通参与者的特征描述。
-
公开(公告)号：CN112131661B
公开(公告)日：2024-07-23
申请号：CN202010946929.9
申请日：2020-09-10
Applicant: 南京大学
IPC: G06F30/15 , G06F30/27 , G05B17/02 , G06F18/214 , G06N3/048
Abstract: 本发明公开一种无人机自主跟拍运动目标的方法，包括在模拟器中训练跟拍虚拟目标，实现步骤为：(1)构建无人机模拟器；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练；所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。
-
公开(公告)号：CN113282100A
公开(公告)日：2021-08-20
申请号：CN202110464589.0
申请日：2021-04-28
Applicant: 南京大学
Abstract: 本申请公开了一种基于强化学习的无人机对抗博弈训练控制方法，包括如下步骤：使主智能体与对手池中所有对手对战并统计所述主智能体的胜率；判断所述主智能体的胜率是否满足预设要求；如果所述主智能体的胜率满足预设要求，则根据所述主智能体的胜率选择对抗对手；使主智能体与所述对抗对手训练直至所述主智能体策略收敛。本申请的有益之处在于。本申请的有益之处在于提供了一种行之有效的基于强化学习的无人机对抗博弈训练控制方法从而使主智能体具有更强学习能力。
-
Patent Agency Ranking
公开(公告)号：CN113276852A
公开(公告)日：2021-08-20
申请号：CN202110375328.1
申请日：2021-04-08
Applicant: 南京大学
Abstract: 本发明公开一种基于最大熵强化学习框架的无人驾驶车道保持方法，包括：(1)创建无人车仿真道路环境；设置环境车行驶策略和行人的运动模型，设计奖励函数以及碰撞检测条件；(2)利用深度神经网络近似状态值函数、动作值函数以及策略，并初始化网络参数；(3)获得无人车初始状态，使其与环境交互，收集数据，并存储到缓冲池；(4)对状态值函数网络、动作值函数网络以及策略网络进行更新；(5)对目标值函数网络进行更新，直到策略网络将近收敛；(6)将状态值网络优化目标中熵项系数置零，继续训练直到策略网络完全收敛；(7)对于训练好的策略模型，根据网络输出的动作概率分布，选择概率值最大的动作给无人车执行。
-
公开(公告)号：CN113721655B
公开(公告)日：2023-06-16
申请号：CN202110988096.7
申请日：2021-08-26
Applicant: 南京大学
IPC: G05D1/10
Abstract: 本发明公开一种控制周期自适应的强化学习无人机稳定飞行控制方法。本发明针对无人机飞行时灵敏性与稳定性的权衡问题，提出了基于强化学习的无人机自适应周期的控制方法。共包含以下关键环节：(1)构造动作增广的策略模型，在策略模型的动作输出中加入是否需要执行该动作的标志位。(2)在环境中运行策略模型时，若标志位为“是”，则执行策略模型输出的动作，并计一定的动作惩罚值；否则不执行该动作，且无惩罚值。(3)使用强化学习算法，通过策略模型与环境的交互，以最大化环境奖励并最小化动作惩罚值为目标，对策略模型进行优化。本发明使得无人机能够对其控制周期进行自适应的调整，同时保证了无人机的性能与飞行稳定性。
-
公开(公告)号：CN113276883B
公开(公告)日：2023-04-21
申请号：CN202110464610.7
申请日：2021-04-28
Applicant: 南京大学
Abstract: 本发明公开一种基于动态生成环境的无人车行驶策略规划方法及实现装置，(1)在模拟器中构建无人驾驶环境。(2)初始化强化学习参数及网络策略模型。(3)与环境交互，收集无人驾驶车辆当前状态，由策略网络进行动作采样，在模拟器中执行动作并进入新的状态。(4)收集车辆在一段生成环境中的累积奖励以及是否成功完成任务，并建立一段新的生成环境。(5)对于车辆的行驶策略，在重复(3)中的操作采集一定强化学习样本后，进行强策略迭代。(6)对于车辆所面临的环境，将由(4)中所述的模式不断生成，并基于对是否成功以及累积奖励的收集，抽取那些失败道路以及低累积奖励道路的环境参数，在这些路段进行反复多次训练。(7)持续上述步骤训练直到策略收敛。
-
公开(公告)号：CN113282061A
公开(公告)日：2021-08-20
申请号：CN202110445367.4
申请日：2021-04-25
Applicant: 南京大学
IPC: G05B19/418 , G06F30/28 , G06N20/00
Abstract: 本发明公开一种基于课程学习的无人机空中博弈对抗的解决方法，包含以下步骤：(1)构建仿真模拟环境；(2)收集飞行员控制飞机的真实轨迹数据，将轨迹数据按照机动动作难度进行课程目标分类；(3)对指定课程目标下的轨迹，通过模仿学习来优化策略模型生成的轨迹和专家轨迹的相似度；(4)获得预训练无人机策略模型；(5)基于预训练无人机策略模型，在模拟器中创建敌我双方无人机智能体；(6)无人机在模拟器中获得当前时刻的观测；(7)无人机与模拟环境进行交互，将我方与敌方无人机对抗的任务建模为一个强化学习智能体与环境交互的问题，用强化学习算法优化无人机对抗的飞行策略；(8)获得无人机进行空中博弈对抗的有效策略。
-
公开(公告)号：CN112051863A
公开(公告)日：2020-12-08
申请号：CN202011020526.8
申请日：2020-09-25
Applicant: 南京大学
IPC: G05D1/10
Abstract: 本发明公开一种无人机自主反侦察及躲避敌方攻击的方法，基于Unity3D构建模拟器，构建敌我双方攻击的对战场景；通过模拟器预留的人类玩家接口，与规则写好的少量对手进行有限回合对抗，收集无人机躲避敌方反侦察及攻击的解决方案的样本数据；利用收集到的人类玩家逃跑数据进行学习，通过强化学习中的模仿学习进行学习，得到预训练模型；基于预训练模型，通过强化学习算法PPO实现在模拟器中的逃跑能力学习；将训练好的无人机躲避侦察及攻击模型与人类玩家进行测试并迁移到现实环境中。本发明提出的无人机自主躲避攻击的解决方案，在现实场景中应用意义重大，可以在成本较低的前提下训练出较好的无人机躲避攻击的策略，能够实际应用于无人机飞行控制领域。
-
-
-
-
-
-
-
Search Results
18
records
(took 0.017 seconds)
