公开(公告)号：CN109794937B

公开(公告)日：2021-10-01

申请号：CN201910083609.2

申请日：2019-01-29

Applicant: 南京邮电大学

Inventor： 胡丽娟 ,  梁志伟 ,  李汉辉

IPC: B25J9/16

Abstract: 本发明公开了一种基于强化学习的足球机器人协作方法，所述方法包括：S1、基于加入有通讯的Sarsa(λ)算法构建足球机器人的强化学习基本模型，并设定所述强化学习基本模型的奖惩机制r；S2、基于足球机器人之间的距离和角度定义指定数量的状态变量；S3、设置足球机器人的可操作动作集，足球机器人基于所述奖惩机制r和所述状态变量以及足球机器人相互间通讯选择下一步动作；本发明通过在建立的强化学习基本模型设立奖惩机制，实现足球机器人可根据当前环境和奖惩机制来选择下一动作，并且通过足球机器人相互之间的通讯来进行学习和更新，有效提升了足球机器人的协作效率。

公开(公告)号：CN110280019A

公开(公告)日：2019-09-27

申请号：CN201910541349.9

申请日：2019-06-21

Applicant: 南京邮电大学

Inventor： 李汉辉 ,  梁志伟

IPC: A63F13/67 ,  A63F13/812 ,  G06F17/50 ,  G06K9/62 ,  G06N7/06

Abstract: 基于强化学习的足球机器人防守策略，基于半场进攻平台HFO环境和TD算法的足球机器人防守策略，所述HFO环境建立在RoboCup 2D仿真平台的基础之上；所述TD算法对防守角色的机器人进行强化学习，利用值函数的更新来优化策略，帮助机器人选择效果更佳的动作来提高球权占有率；然后在TD算法中加入通讯来提高强化学习的效率，利用广播来传递机器人状态-动作等实时信息，加速算法收敛，提升机器人的协作防守效率。

公开(公告)号：CN109794937A

公开(公告)日：2019-05-24

申请号：CN201910083609.2

申请日：2019-01-29

Applicant: 南京邮电大学

Inventor： 胡丽娟 ,  梁志伟 ,  李汉辉

IPC: B25J9/16

Abstract: 本发明公开了一种基于强化学习的足球机器人协作方法，所述方法包括：S1、基于加入有通讯的Sarsa(λ)算法构建足球机器人的强化学习基本模型，并设定所述强化学习基本模型的奖惩机制r；S2、基于足球机器人之间的距离和角度定义指定数量的状态变量；S3、设置足球机器人的可操作动作集，足球机器人基于所述奖惩机制r和所述状态变量以及足球机器人相互间通讯选择下一步动作；本发明通过在建立的强化学习基本模型设立奖惩机制，实现足球机器人可根据当前环境和奖惩机制来选择下一动作，并且通过足球机器人相互之间的通讯来进行学习和更新，有效提升了足球机器人的协作效率。

公开(公告)号：CN209198899U

公开(公告)日：2019-08-02

申请号：CN201821889320.7

申请日：2018-11-16

Applicant: 南京邮电大学

Inventor： 崔林威 ,  张腾飞 ,  万宇 ,  戚尧威 ,  李汉辉 ,  程奕凌

IPC: G05B19/042 ,  G08C17/02 ,  H04N7/18 ,  E01H1/00

Abstract: 本实用新型公开了一种基于ZigBee网关和图像识别的道路垃圾清理车，包括电源模块、摄像头云台模块、机械臂模块、ZigBee网关、GPS定位模块、MCU控制模块、车模模块，电源模块的输出端与其他模块电源的输入端相连；摄像头云台模块、机械臂模块、ZigBee网关、GPS定位模块模块均与MCU控制模块相连，且MCU控制模块与车模模块相连；车模模块用于道路垃圾清理车的整体移动。本实用新型由组网构成网络，通过图像算法和神经网络算法识别处理道路垃圾图像，并利用机械臂自动清理垃圾，能将道路垃圾信息及该车的定位、移速等信息通过ZigBee网关实时传递给终端服务器，具有便于管理、垃圾识别的分析能力和准确度强、垃圾清理的效率、可视化程度高、信息实时传输的特点。