-
公开(公告)号：CN113156419B
公开(公告)日：2022-10-11
申请号：CN202110205655.2
申请日：2021-02-24
Applicant: 清华大学
IPC: G01S13/86 , G01S13/88 , G01S13/93 , G01C11/00 , G01C21/00 , G06V20/10 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于雷达与视觉多模态融合的具身语言导航方法，属于机器人导航、自然语言处理和计算机视觉领域。该方法首先在带有双目相机的机器人上安装激光雷达，利用该机器人训练一个多模态融合神经网络模型。选取任一真实场景，对机器人下达自然语言导航指令并转化为对应语义向量；利用机器人在每个时刻获取的RGB图、深度图以及雷达信息，分别转化为对应的特征；对语义向量、RGB图特征和深度图特征进行特征融合，得到当前时刻的动作特征；利用雷达特征对该动作特征进行修正后，神经网络模型最终输出机器人在当前时刻的动作，机器人执行该动作直至完成导航任务。本发明可使机器人对真实环境具有良好的感知能力，提高避障导航的效率。
-
公开(公告)号：CN113505646A
公开(公告)日：2021-10-15
申请号：CN202110648665.3
申请日：2021-06-10
Applicant: 清华大学
Abstract: 本发明提出一种基于语义地图的目标搜索方法，属于机器人导航、计算机视觉领域。该方法首先建立语义关系图，对待进行目标搜索的空间建立导航图并选取采样点，在各采样点从多视角采集RGB图和深度图；机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜，结合深度图完成该视角局部的三维语义重建；整合所有局部的三维语义重建，得到待进行目标搜索的空间的语义点云；去除点云中的z维数据并去噪，得到该空间的语义地图；机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略；搜索完成后，更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力，提高目标搜索的效率。
-
公开(公告)号：CN113156419A
公开(公告)日：2021-07-23
申请号：CN202110205655.2
申请日：2021-02-24
Applicant: 清华大学
IPC: G01S13/86 , G01S13/88 , G01S13/93 , G01C11/00 , G01C21/00 , G06K9/00 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于雷达与视觉多模态融合的具身语言导航方法，属于机器人导航、自然语言处理和计算机视觉领域。该方法首先在带有双目相机的机器人上安装激光雷达，利用该机器人训练一个多模态融合神经网络模型。选取任一真实场景，对机器人下达自然语言导航指令并转化为对应语义向量；利用机器人在每个时刻获取的RGB图、深度图以及雷达信息，分别转化为对应的特征；对语义向量、RGB图特征和深度图特征进行特征融合，得到当前时刻的动作特征；利用雷达特征对该动作特征进行修正后，神经网络模型最终输出机器人在当前时刻的动作，机器人执行该动作直至完成导航任务。本发明可使机器人对真实环境具有良好的感知能力，提高避障导航的效率。
-
公开(公告)号：CN113505646B
公开(公告)日：2024-04-12
申请号：CN202110648665.3
申请日：2021-06-10
Applicant: 清华大学
IPC: G06V20/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06T5/70 , G06T7/50 , G06T7/70 , G01C21/20
Abstract: 本发明提出一种基于语义地图的目标搜索方法，属于机器人导航、计算机视觉领域。该方法首先建立语义关系图，对待进行目标搜索的空间建立导航图并选取采样点，在各采样点从多视角采集RGB图和深度图；机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜，结合深度图完成该视角局部的三维语义重建；整合所有局部的三维语义重建，得到待进行目标搜索的空间的语义点云；去除点云中的z维数据并去噪，得到该空间的语义地图；机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略；搜索完成后，更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力，提高目标搜索的效率。
-
-
-
Search Results
4
records
(took 0.013 seconds)
