公开(公告)号：CN117764119A

公开(公告)日：2024-03-26

申请号：CN202311782750.4

申请日：2023-12-22

Applicant: 兰州大学

Inventor： 周庆国 ,  宋利蓉 ,  王金强 ,  肖恬恬 ,  李妍 ,  张涵 ,  蒋远博 ,  张胜杰 ,  郭岚 ,  刘新 ,  周睿

IPC: G06N3/0464 ,  B25J9/16 ,  G06N3/084 ,  G06N3/092

Abstract: 本发明公开一种基于物理信息的双策略网络NAO机器人控制方法，主要包括：(1)构建NAO机器人系统的数学模型，获取机器人搭载的32线激光雷达数据、自身位置信息和摄像头获取的障碍物图像信息；(2)构建连续时间的基于物理信息的双策略网络，并在动作中加入粉色噪声；(3)设计模型的损失函数L，具体涉及强化学习Critic网络的损失函数L1以及基于NAO机器人动力学微分方程的损失函数L2，使用梯度下降方法获得最优避障策略；(4)训练障碍物识别模型，将障碍物识别模型和最优策略部署到NAO机器人上进行评估。本发明将一种基于物理信息的双策略网络算法应用于机器人避障系统中，可以实现连续时间的控制，适用于更加复杂的机器人控制。

公开(公告)号：CN117032208A

公开(公告)日：2023-11-10

申请号：CN202310882796.7

申请日：2023-07-18

Applicant: 兰州大学

Inventor： 周庆国 ,  蒋远博 ,  张胜杰 ,  王金强 ,  雍宾宾 ,  郭岚 ,  周睿

IPC: G05D1/02

Abstract: 本发明公开了融合人类反馈信息和深度强化学习的履带车自动驾驶方法，包含以下步骤：(1)使用Actor‑Critic算法在环境中探索并保存履带车行驶的轨迹信息，同时使用规则化奖励函数训练自动驾驶车辆的预训练策略；(2)由数据标注员对履带车行驶的轨迹片段进行比较，并根据比较结果标注轨迹片段的奖励值；(3)使用轨迹数据训练基于深度神经网络的奖励函数模型(4)使用PPO算法对预训练策略进行微调直至策略能够控制履带车完成自动驾驶任务。本发明结合人类对行驶轨迹的反馈信息与深度强化学习完成模型的训练，适用于奖励函数不直观且难以人为构造的复杂环境中的履带车自动控制任务。

公开(公告)号：CN116052412B

公开(公告)日：2023-08-18

申请号：CN202211487027.9

申请日：2022-11-23

Applicant: 兰州大学

Inventor： 周庆国 ,  王金强 ,  雍宾宾 ,  郑礼浪 ,  蒋远博 ,  赵瑞 ,  周睿

IPC: G08G1/01 ,  G08G1/0967 ,  G06F30/27 ,  G06F17/13 ,  G06N3/092 ,  G06N3/084 ,  G06F111/04

Abstract: 本发明公开了融合物理信息和深度强化学习的自动驾驶车辆控制方法，包含以下步骤：(1)构造连续时间内基于哈密顿‑雅可比‑贝尔曼方程的强化学习偏微分方程，采集车辆行驶中的感知层信息量、动作控制量、奖励值及下一个状态感知层信息量，形成四元组数据并存储；(2)构造基于物理信息的自动驾驶车辆动力学模型并将其求取偏导数添加至强化学习模型约束项中；(3)训练和评估融和物理信息和深度强化学习的自动驾驶车辆控制模型，通过神经网络将车辆运动轨迹样本数据和物理运动学结合构造模型训练函数并在GPU上训练，直到驾驶车辆完成自动控制。本发明结合物理动力学规律和深度强化学习完成模型训练，适用于复杂环境的自动驾驶车辆学习控制。

公开(公告)号：CN115500281A

公开(公告)日：2022-12-23

申请号：CN202211269969.X

申请日：2022-10-18

Applicant: 兰州大学

Inventor： 周睿 ,  王天一 ,  周庆国 ,  苟煜春 ,  刘泽政 ,  赵义仑 ,  陈嘉妮 ,  王金强

IPC: A01K15/02 ,  A01K29/00 ,  A01K39/012 ,  G06F3/044 ,  G06F3/045

Abstract: 本发明涉及一种鸟类智能训练系统及方法，涉及鸟类训练领域，系统包括：箱体、主控制器、电源模块、温湿度传感器、光照传感器、第一触摸显示屏、第二触摸显示屏、扬声器、带舵机的食盒、通风模块和灯光模块；箱体用于装载整个系统；主控制器预置若干鸟类训练程序；电源模块用于给系统供电；温湿度传感器和光照传感器用于采集系统的环境参数；通风模块和灯光模块用于对系统环境进行调节；第一触摸显示屏用于鸟类喙击交互；第二触摸显示屏用于操作员与系统交互；扬声器用于根据操作员选择的鸟类训练程序给鸟类播放声音；带舵机的食盒用于当鸟类喙击正确时进行喂食奖励。本发明能够减少鸟类在训练过程中的不可控因素，提高训练效率。

公开(公告)号：CN111325229A

公开(公告)日：2020-06-23

申请号：CN201811544723.2

申请日：2018-12-17

Applicant: 兰州大学

Inventor： 周睿 ,  车云飞 ,  申泽邦 ,  王金强 ,  漆昱涛 ,  周庆国

IPC: G06K9/62 ,  G06K9/46 ,  G06K9/34 ,  G06K9/00

Abstract: 本发明公开一种基于激光雷达的单线数据分析对物体空间封闭的聚类方法，包括步骤S1：从激光雷达Velodyne中提取单线数据，并将每组单线数据映射到二维平面上；步骤S2：利用步骤S1中的二维平面数据，对每组数据使用切线的方法提取物体边缘线，依次分割提取出单个物体的边缘；步骤S3：对分割出的物体边缘点集处理获得物体的中心点，以及水平方向所占面积；步骤S4：组合所有二维平面单线数据，在三维空间中确定所有物体最终的精确位置及水平方向所占面积。本发明对距离过近的空间物体的分割聚类具有较好的鲁棒性。

公开(公告)号：CN109345262A

公开(公告)日：2019-02-15

申请号：CN201710645143.1

申请日：2017-08-01

Applicant: 兰州大学

Inventor： 周庆国 ,  武强 ,  雍宾宾 ,  申泽邦 ,  王金强 ,  胡轶凛

IPC: G06Q30/00 ,  G06F17/27

Abstract: 如今，互联网已经成为社会必不可少的基础设施。但用户在使用互联网时所碰到的问题需要向相关客服反映，很长时间才能得到解决且成本高效率低。解决用户投诉问题的传统BP算法分类技术已经不能满足当前业务的增长速度。本发明涉及互联网、电子商务、电信等服务行业业务IT支撑、客户服务技术领域。它是一种基于深度学习的智能投诉分类与处理系统，包括对投诉语音、文本进行向量化处理，BP神经网络深度学习实现投诉分类，BP神经网络深度学习，实现投诉处理通过对客服系统输入的投诉文本进行向量化处理，转为文本向量，利用深度BP神经网络进行训练，生成投诉机器分类，然后进行不同的系统集成，最终进行特定投诉类型的输出匹配，实现机器智能回复。