一种控制周期自适应的强化学习无人机稳定飞行控制方法

    公开(公告)号:CN113721655A

    公开(公告)日:2021-11-30

    申请号:CN202110988096.7

    申请日:2021-08-26

    Applicant: 南京大学

    Abstract: 本发明公开一种控制周期自适应的强化学习无人机稳定飞行控制方法。本发明针对无人机飞行时灵敏性与稳定性的权衡问题,提出了基于强化学习的无人机自适应周期的控制方法。共包含以下关键环节:(1)构造动作增广的策略模型,在策略模型的动作输出中加入是否需要执行该动作的标志位。(2)在环境中运行策略模型时,若标志位为“是”,则执行策略模型输出的动作,并计一定的动作惩罚值;否则不执行该动作,且无惩罚值。(3)使用强化学习算法,通过策略模型与环境的交互,以最大化环境奖励并最小化动作惩罚值为目标,对策略模型进行优化。本发明使得无人机能够对其控制周期进行自适应的调整,同时保证了无人机的性能与飞行稳定性。

    一种适用于快速软件开发模式的实时软件缺陷检测方法

    公开(公告)号:CN103092762B

    公开(公告)日:2016-02-03

    申请号:CN201310053478.6

    申请日:2013-02-19

    Applicant: 南京大学

    Inventor: 黎铭 王东 周志华

    Abstract: 本发明公开一种适用于快速软件开发模式的实时软件缺陷检测方法,首先初始化模型使其对任意模块的检测结果置信度为0;等待并接收一个刚完成编码的软件模块;利用当前缺陷检测模型对所接收的软件模块进行实时检测;若缺陷检测模型的缺陷检测置信度低于预设阈值,将所接收的软件模块送交测试人员进行详细测试,输出其缺陷情况,否则直接输出检测结果;利用接收到的软件模块对当前模型进行实时增量式建模;返回等待步骤接收新的软件模块直至所有软件模块开发完毕。该方法能够在编码过程中同步利用不断积累的软件模块进行实时建模,并在每个模块开发完成后及时为开发人员提供该模块的缺陷预警。

    在计算机辅助诊断装置中利用未诊断病例的预测建模方法

    公开(公告)号:CN1760881A

    公开(公告)日:2006-04-19

    申请号:CN200510095420.3

    申请日:2005-11-14

    Applicant: 南京大学

    Inventor: 周志华 黎铭

    Abstract: 本发明公开了一种在计算机辅助诊断装置中利用未诊断病例的预测建模方法,该方法通过以下步骤得到预测结果:(1)若预测模型未训练好,则执行步骤(2),否则转到步骤(6);(2)利用已诊断病例和未诊断病例产生已标记和未标记训练数据集;(3)利用已标记训练数据集训练出一个随机森林;(4)采用协同训练技术利用未标记数据来帮助提高随机森林中每一个个体的精度;(5)利用多数投票技术产生最终的预测模型;(6)利用预测模型进行预测并给出结果。本发明的优点是通过对未诊断病例的利用得以提高预测建模方法,以辅助提高计算机辅助医疗诊断装置的性能。

    一种基于控制流图建模的代码提交日志自动生成方法

    公开(公告)号:CN116627481A

    公开(公告)日:2023-08-22

    申请号:CN202310534770.3

    申请日:2023-05-11

    Applicant: 南京大学

    Inventor: 黎铭 李颖 周志华

    Abstract: 本发明公开一种基于控制流图建模的代码提交日志自动生成方法,首先获取新待提交的源代码改动,判断代码提交日志生成模型是否已训练完毕,若无则建立并训练代码提交日志生成模型直至收敛。之后使用控制流图生成工具生成源代码改动前和源代码改动后的控制流图,构建控制流融合图并从图中提取特征,将源代码改动的改动序列和控制流融合图的特征输入至代码提交日志生成模型得到源代码改动日志。最后,提交源代码改动和源代码改动日志保存至代码仓库。本发明能够生成准确、高质量的代码提交日志,帮助开发者完整代码提交的过程,为维护人员快速了解版本的演变提供有效帮助,极大地节省了软件开发和维护的人力和时间成本,降低了软件质量维护的难度。

    基于强化学习的无人机传感器故障时容错控制方法

    公开(公告)号:CN113467248A

    公开(公告)日:2021-10-01

    申请号:CN202110828311.7

    申请日:2021-07-22

    Applicant: 南京大学

    Abstract: 本发明公开一种基于强化学习的无人机传感器故障时容错控制方法,测定无人机各项物理常数,搭建无人机环境模拟器,在训练时随机设置传感器故障干扰无人机控制并使用DDPG算法训练无人机控制策略模型,逐步增加无人机故障种类并将稳定表现的策略收集到容错控制策略候选池中,在仿真环境随机故障测试后,得到最优的容错控制策略;在推理阶段,对于训练好的策略模型,基于策略网络输出交给无人机执行。本发明在仿真环境中模拟无人机不同的传感器故障组合,在策略与环境交互时,保证固定比例的无故障样本数据的存在,使得强化学习可以同时学习到传感器故障时和非故障时的飞行策略,使得无人机传感器故障时的容错控制更加鲁棒,高效。

    基于粒子注意力深度Q学习的部分观测路口自主并道方法

    公开(公告)号:CN113160562A

    公开(公告)日:2021-07-23

    申请号:CN202110337809.3

    申请日:2021-03-30

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于粒子注意力深度Q学习的部分观测路口自主并道方法,着眼于路口场景、车辆并道任务、观测视野被楼宇和其他车辆遮挡住的部分观测条件,使用强化学习中的深度Q学习算法对给定路线的并道车辆的驾驶行为进行优化。使用低维物理信息量作为车辆的观测表征;使用基于粒子的表示处理因遮挡造成的部分观测问题;通过引入注意力机制优化状态表示,使模型可以仅接受未被遮挡到的车辆信息同时具有输入排列不变性;使用深度Q学习算法根据获取到的社会车辆信息输出当前最优驾驶动作;通过在经验回放池中加入多种车流密度下的采样数据,结合优先经验回放技术,使自主并道行为可以适应真实环境下多变的车流密度。

    一种无需缺陷标注数据的软件缺陷检测方法

    公开(公告)号:CN108763063A

    公开(公告)日:2018-11-06

    申请号:CN201810436555.9

    申请日:2018-05-09

    Applicant: 南京大学

    Inventor: 黎铭 李润泽

    CPC classification number: G06F11/3684 G06F11/3688

    Abstract: 本发明公开了一种无需缺陷标注数据的软件缺陷检测方法,首先获取所有已完成编码的等待测试的软件模块,构造无缺陷标注的数据集合;利用无缺陷标注的数据集合通过异常检测算法建立软件缺陷检测模型;通过建立好的模型输出每个未检测的软件模块的检测分数,表示模块中有缺陷的可能性大小,分数越高说明模块存在缺陷的可能性越大;将所有等待测试的模块按照检测分数由高到低排序,并将等待测试的模块按此顺序依次送交测试人员进行测试,直到所有模块都进行过测试或没有可用的测试资源时结束。本发明能够在没有缺陷标注数据的情况下检测软件缺陷,解决了当前的软件缺陷检测方法需要大量测试资源以获取缺陷标注数据的问题。

Patent Agency Ranking