一种基于多粒度强化学习的六足机器人导航方法

    公开(公告)号:CN109085751B

    公开(公告)日:2021-03-12

    申请号:CN201811077945.8

    申请日:2018-09-16

    Applicant: 南京大学

    Abstract: 本发明提供了一种基于多粒度强化学习的六足机器人导航方法,步骤包括:由机器人对环境进行初次学习,得到细粒度条件的环境信息,再利用Q学习算法得到状态动作表;使用多粒度强化学习算法将原来的细粒度的状态动作表转化为粗粒度的状态动作表;使用多粒度迁移学习算法以及粗化后的状态动作表,对细粒度下的新环境进行重新学习和建图,再进行Q学习获得新环境下的状态动作集合;利用新环境下的状态动作集合对六足机器人进行实时导航控制。该六足机器人导航方法通过强化学习算法学习出变化环境中六足机器人在相应状态的最佳动作,并以此为基础,提高对变化环境的适应性;利用多粒度迁移学习机制,提高在环境变化的情况下的导航效率。

    一种移动机器人导航方法

    公开(公告)号:CN110307848A

    公开(公告)日:2019-10-08

    申请号:CN201910598925.3

    申请日:2019-07-04

    Applicant: 南京大学

    Abstract: 本发明公开了一种移动机器人导航方法,导航区域上空设置有图像采集装置,包括如下步骤:1、在机器人运动前采集一次移动机器人环境图像;2、根据采集到的环境图像得到环境障碍物信息;3、根据获取的环境障碍物信息建立二值化栅格地图,栅格地图中标注出可通行区域和不可通行区域;4、根据栅格地图建立移动机器人运行规则;5、设置总回合数M和浅尝试学习回合数M1;使用移动机器人运行规则进行浅尝试学习,得到初步的Q表;根据移动机器人初始位置p0采用强化学习对Q表进行更新;6、根据更新后的Q表,获取移动机器人的最优运动策略π*,得到移动机器人的运动路径。该方法使得机器人在训练过程中减少了无效探索,学习效率高,收敛快。

    一种六足机器人
    3.
    发明公开

    公开(公告)号:CN108528563A

    公开(公告)日:2018-09-14

    申请号:CN201810452881.9

    申请日:2018-05-14

    Applicant: 南京大学

    Abstract: 本发明公开了一种六足机器人,包括机身框架、三组水平推杆机构、六个机械大腿机构、六个机械小腿机构以及六个T型连接机构。该六足机器人通过三组水平推杆机构的六个电推杆机构分别对六只机械腿进行摆动驱动,实现机械腿的水平摆动,并由T型连接机构实现摆动传动;六足机器人中所使用的驱动机构全部采用结构相同的电推杆机构,利用共计十八个模块化的电推杆机构实现六条腿的行走动作驱动,在进行行走控制时只需对这个十八个电推杆机构的电动推杆进行分别控制即可,驱动程序相近,能够明显缩短程序开发周期。

    一种基于强化学习的多组机器人协作控制方法及控制系统

    公开(公告)号:CN109116854B

    公开(公告)日:2021-03-12

    申请号:CN201811077944.3

    申请日:2018-09-16

    Applicant: 南京大学

    Abstract: 本发明提供了一种基于强化学习的多组机器人协作控制方法及系统。方法步骤包括:强化学习生成状态动作表、组内各个机器人彼此共享强化学习结果、相遇时分享状态动作表生成全环境状态动作集合以及利用全环境状态动作集合来对各组机器人进行协作控制。系统包括环境建图模块、组内学习共享模块、组间学习共享模块以及协作控制模块。该多组机器人协作控制方法及系统通过强化学习算法学习出单个机器人在相应状态下的动作,并以此为基础,进行组内交互,共享一个机器人组的学习效果,最终在组间机器人相遇时,共享所有组内信息,并进行机器人避让,提高强化学习的效率;利用组间多机器人迁移学习机制,提高在大面积空间下的多机器人导航效率。

    一种基于多层次文本组件定位与生长的文本区域提取方法

    公开(公告)号:CN109460763A

    公开(公告)日:2019-03-12

    申请号:CN201811267160.7

    申请日:2018-10-29

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多层次文本组件定位与生长的自然场景图像中文本区域提取方法,首先输入灰度或彩色RGB图像;在输入图像上运行MSER算法,进而以MSER边界作为区域边缘在MSER中运行SWT算法,获取极值区域内部像素的笔画宽度值;在极值区域中计算笔画宽度直方图,选取直方图中包含最多像素数量的三个笔画宽度对应的像素集合,并将通过边缘梯度差角特征验证的像素集合中的像素作为种子像素;基于种子像素,迭代进行字符内、字符间两个层次的生长过程,进一步基于多种文本区域特征对生长后获得的区域进行过滤,并将最终得到的文本区域作为结果输出。本发明提出的文本区域提取方法能够兼顾提取结果的精度和召回率,同时不依赖于特定机器学习模型,简单易重现。

    一种基于强化学习的多组机器人协作控制方法及控制系统

    公开(公告)号:CN109116854A

    公开(公告)日:2019-01-01

    申请号:CN201811077944.3

    申请日:2018-09-16

    Applicant: 南京大学

    Abstract: 本发明提供了一种基于强化学习的多组机器人协作控制方法及系统。方法步骤包括:强化学习生成状态动作表、组内各个机器人彼此共享强化学习结果、相遇时分享状态动作表生成全环境状态动作集合以及利用全环境状态动作集合来对各组机器人进行协作控制。系统包括环境建图模块、组内学习共享模块、组间学习共享模块以及协作控制模块。该多组机器人协作控制方法及系统通过强化学习算法学习出单个机器人在相应状态下的动作,并以此为基础,进行组内交互,共享一个机器人组的学习效果,最终在组间机器人相遇时,共享所有组内信息,并进行机器人避让,提高强化学习的效率;利用组间多机器人迁移学习机制,提高在大面积空间下的多机器人导航效率。

    一种基于多粒度强化学习的六足机器人导航方法

    公开(公告)号:CN109085751A

    公开(公告)日:2018-12-25

    申请号:CN201811077945.8

    申请日:2018-09-16

    Applicant: 南京大学

    Abstract: 本发明提供了一种基于多粒度强化学习的六足机器人导航方法,步骤包括:由机器人对环境进行初次学习,得到细粒度条件的环境信息,再利用Q学习算法得到状态动作表;使用多粒度强化学习算法将原来的细粒度的状态动作表转化为粗粒度的状态动作表;使用多粒度迁移学习算法以及粗化后的状态动作表,对细粒度下的新环境进行重新学习和建图,再进行Q学习获得新环境下的状态动作集合;利用新环境下的状态动作集合对六足机器人进行实时导航控制。该六足机器人导航方法通过强化学习算法学习出变化环境中六足机器人在相应状态的最佳动作,并以此为基础,提高对变化环境的适应性;利用多粒度迁移学习机制,提高在环境变化的情况下的导航效率。

    一种六足机器人
    8.
    发明授权

    公开(公告)号:CN108528563B

    公开(公告)日:2023-11-03

    申请号:CN201810452881.9

    申请日:2018-05-14

    Applicant: 南京大学

    Abstract: 本发明公开了一种六足机器人,包括机身框架、三组水平推杆机构、六个机械大腿机构、六个机械小腿机构以及六个T型连接机构。该六足机器人通过三组水平推杆机构的六个电推杆机构分别对六只机械腿进行摆动驱动,实现机械腿的水平摆动,并由T型连接机构实现摆动传动;六足机器人中所使用的驱动机构全部采用结构相同的电推杆机构,利用共计十八个模块化的电推杆机构实现六条腿的行走动作驱动,在进行行走控制时只需对这个十八个电推杆机构的电动推杆进行分别控制即可,驱动程序相近,能够明显缩短程序开发周期。

    一种基于多层次文本组件定位与生长的文本区域提取方法

    公开(公告)号:CN109460763B

    公开(公告)日:2022-06-21

    申请号:CN201811267160.7

    申请日:2018-10-29

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多层次文本组件定位与生长的自然场景图像中文本区域提取方法,首先输入灰度或彩色RGB图像;在输入图像上运行MSER算法,进而以MSER边界作为区域边缘在MSER中运行SWT算法,获取极值区域内部像素的笔画宽度值;在极值区域中计算笔画宽度直方图,选取直方图中包含最多像素数量的三个笔画宽度对应的像素集合,并将通过边缘梯度差角特征验证的像素集合中的像素作为种子像素;基于种子像素,迭代进行字符内、字符间两个层次的生长过程,进一步基于多种文本区域特征对生长后获得的区域进行过滤,并将最终得到的文本区域作为结果输出。本发明提出的文本区域提取方法能够兼顾提取结果的精度和召回率,同时不依赖于特定机器学习模型,简单易重现。

    一种基于自适应权重强化学习的六足机器人避障方法

    公开(公告)号:CN111552183B

    公开(公告)日:2021-04-23

    申请号:CN202010416376.6

    申请日:2020-05-17

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于自适应权重强化学习的六足机器人避障方法,步骤包括:由六足机器人通过测距传感器测量机器人与附近各个障碍物的距离,并通过模糊隶属度函数将测量的障碍物距离转化为有限的状态集合;根据有限的状态集合建立六足机器人避障模型,再利用自适应权重强化学习算法学习出最优网络模型参数θ*;根据上述训练好的最优网络模型参数θ*得到六足机器人避障的最优目标策略,由最优目标策略获得六足机器人在t时刻避障所要采取的动作at。该避障方法能够在障碍物数量较多的位置环境中实现较好的避障效果,具有良好的市场应用前景。

Patent Agency Ranking