-
公开(公告)号:CN111150566B
公开(公告)日:2022-05-10
申请号:CN202010050496.9
申请日:2020-01-17
Applicant: 南京邮电大学
Abstract: 本发明提供一种自主导航与多模人机交互共享的轮椅控制系统及方法,所述系统包括自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令,并由共享控制器确定最终控制指令控制智能轮椅;人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式;还包括切换器完成多模人机交互控制方式间的切换。本发明可以有效降低用户驾驶轮椅的疲劳感,提高用户驾驶轮椅舒适性、平稳性和交互的流畅性,满足不同对象的需求,提高智能轮椅的应用范围。
-
公开(公告)号:CN108214494B
公开(公告)日:2020-11-03
申请号:CN201810105505.2
申请日:2018-02-02
Applicant: 南京邮电大学
Abstract: 本发明涉及一种基于乱架图书管理机器人手持式辅助终端的图书管理方法,该方法的装置包括自主机器人乱架图书管理系统和手持式辅助终端,所述自助机器人乱架图书管理系统与手持式辅助终端通信连接,所述手持式辅助终端包括扫描枪、触摸屏、无线通信模块和查询模块。本发明的优点是利用图书馆内现有的硬件设备和软件系统,辅助机器人解决图书馆内图书归位的难题,并针对图书馆机器人无法在狭小空间内运行的缺陷,采用手持式辅助终端扩大了乱架图书管理机器人的应用范围,是对图书馆机器人图书管理功能的有效补充,辅助机器人管理图书馆书籍,降低了图书馆人工管理成本,提高图书馆服务质量和自动化水平,解决馆藏图书错架、乱架问题。
-
公开(公告)号:CN111399634A
公开(公告)日:2020-07-10
申请号:CN201911163274.1
申请日:2019-11-25
Applicant: 南京邮电大学
Abstract: 本发明公开一种手势引导物体识别的方法及装置,其方法具体包含如下步骤:(1)对Kinect和Leap motion进行联合标定,计算两传感器镜头坐标系间的变换矩阵;(2)通过Leap motion捕捉手部运动数据,进行运动轨迹跟踪;通过Kinect采集物体特征信息;(3)利用镜头坐标系间的变换矩阵将手部运动轨迹转换到Kinect坐标系下(4)利用手部运动轨迹对物体进行框选,将框选的物体映射到二维平面,基于SSD的物体识别方法,对框选物体进行识别。所述装置包含用于手势动作捕捉的Leap motion和用于物体识别的Kinect,Leap motion坐标系y轴与Kinect坐标系z轴相互垂直,通过刚性材料固定,可实现手势动作引导下的物体识别。利用该方法与装置可提高对目标物体识别的准确率和高效性,增强人机交互体验。
-
-
公开(公告)号:CN105787471B
公开(公告)日:2019-05-03
申请号:CN201610180343.X
申请日:2016-03-25
Applicant: 南京邮电大学
Abstract: 本发明提供一种应用于助老助残移动服务机器人控制的手势识别方法,将静态手势识别与动态手势识别相结合,能排除手势分割时由于复杂背景、大面积肤色或遮挡造成的干扰,具有自然友好的人机交互方式,运用到基于手势识别的移动服务机器人交互系统中可以快速准确识别出手势指令并安全地控制轮椅,增大用户的活动范围,有效地改善其生活质量。
-
公开(公告)号:CN105487665B
公开(公告)日:2018-09-07
申请号:CN201510872912.2
申请日:2015-12-02
Applicant: 南京邮电大学
Abstract: 本发明提供一种基于头部姿势识别的智能移动服务机器人控制方法,该方法利用约束局部模型算法检测脸部特征点,再利用脸部特征点的几何关系估计当前头部姿态,从而使患者能够用头部来控制智能移动服务机器人的运动。其具体实现包括如下步骤:训练头部姿态样本得到脸部特征点形状模板和特征点的局部模板;利用Ki nect采集头部图像并找到脸部位置;通过约束局部模型算法检测脸部特征点;利用检测到的特征点估计当前头部姿态;再根据不同的头部姿态参数给移动服务机器人发出不同的控制命令。利用本发明的方法,使得残障人士也可以利用头部稳定地控制智能移动服务机器人,方便了他们的出行。
-
公开(公告)号:CN108214494A
公开(公告)日:2018-06-29
申请号:CN201810105505.2
申请日:2018-02-02
Applicant: 南京邮电大学
CPC classification number: B25J9/161 , B25J9/1661 , B25J13/08 , G06K17/0022 , G06Q50/26
Abstract: 本发明涉及一种基于乱架图书管理机器人手持式辅助终端的图书管理方法,该方法的装置包括自主机器人乱架图书管理系统和手持式辅助终端,所述自助机器人乱架图书管理系统与手持式辅助终端通信连接,所述手持式辅助终端包括扫描枪、触摸屏、无线通信模块和查询模块。本发明的优点是利用图书馆内现有的硬件设备和软件系统,辅助机器人解决图书馆内图书归位的难题,并针对图书馆机器人无法在狭小空间内运行的缺陷,采用手持式辅助终端扩大了乱架图书管理机器人的应用范围,是对图书馆机器人图书管理功能的有效补充,辅助机器人管理图书馆书籍,降低了图书馆人工管理成本,提高图书馆服务质量和自动化水平,解决馆藏图书错架、乱架问题。
-
公开(公告)号:CN106650628A
公开(公告)日:2017-05-10
申请号:CN201611027090.9
申请日:2016-11-21
Applicant: 南京邮电大学
CPC classification number: G06K9/00382 , G06K9/2054 , G06K9/40 , G06K9/4652 , G06K9/6215 , G06K9/6218
Abstract: 本发明公开了一种基于三维K曲率的指尖检测方法,该方法分为两步,第一步:基于点云颜色区域增长提取手部区域。首先对RGB‑D传感器获取的点云数据进行滤波,然后对其做颜色的区域增长分割,最后采取肤色检测算法获取手部区域的点云数据。第二步:基于三维K曲率算法提取指尖点。在获取手部区域后,对手部点云进行滤波以剔除一些空间离散点,然后利用K曲率算法的思想去处理点云数据,确定指尖候选点,对其指尖候选点聚类,得到指尖点。利用本发明的方法,可以在数字1、2、3、4、5等几种常见手势情况下,在不同位置,不同背景,不同光照环境下,很好地检测出指尖点。本发明的方法与实际指尖点的距离误差仅为5mm左右,具有较好的精确性、鲁棒性。
-
公开(公告)号:CN106095107A
公开(公告)日:2016-11-09
申请号:CN201610453305.7
申请日:2016-06-21
Applicant: 南京邮电大学
IPC: G06F3/01
CPC classification number: G06F3/017
Abstract: 本发明公开了一种应用于智能移动轮椅的手势交互控制方法,该方法使用Kinect摄像头获取用户手部实时坐标,利用模糊控制算法对虚拟手柄进行坐标置位,从而使用户可通过手部来定量控制智能移动轮椅的行动。其具体实现包括如下步骤:Kinect摄像头获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标;对获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立;再根据模糊控制算法对虚拟手柄进行坐标置位;最后以虚拟手柄的方式实现定量控制智能移动轮椅。利用本发明的方法,使得老年用户可以利用手部姿势良好地定量控制智能移动轮椅,改善了他们的出行方式。
-
公开(公告)号:CN119610123A
公开(公告)日:2025-03-14
申请号:CN202411978178.3
申请日:2024-12-30
Applicant: 南京邮电大学
IPC: B25J9/16
Abstract: 本发明属于机械臂抓取技术领域,公开一种基于视觉‑力觉的机械臂指令抓取方法,包括以下步骤:获取场景的RGB‑D图像,通过OpenCV对RGB‑D图像进行切割处理,并提取RGB‑D图像中每个物体的视觉特征;通过BERT对用户输入的文本命令进行编码,并输出语言特征;将语言特征和视觉特征输入CLIP模型中融合对齐,再采用Co‑TRM结构进行进一步对齐,生成双模态特征;根据RGB‑D图像的深度图生成点云图像,基于点云图像,结合物体的视觉特征,通过Graspnet生成抓取姿态;解决了现有技术中基于视觉和指令进行抓取时存在着不便于对抓取力进行自适应调整的问题。
-
-
-
-
-
-
-
-
-