-
公开(公告)号:CN111598149B
公开(公告)日:2023-10-24
申请号:CN202010388573.1
申请日:2020-05-09
Applicant: 鹏城实验室
IPC: G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/088
Abstract: 本申请公开了一种基于注意力机制的回环检测方法,所述方法在获取到目标图像帧及目标图像帧对应的若干历史图像帧后;获取目标图像帧对应的第一特征图及每个历史图像帧对应的第二特征图;将第一特征图以及若干第二特征图分别输入多尺度特征融合结构,输出目标图像帧对应的第一激活图以及每个历史图像帧对应的第二激活图;根据所述第一激活图和所述若干第二激活图,确定所述目标图像帧对应到的回环帧。本申请通过多尺度特征融合结构,能够通过自注意力机制获取到特征图的多尺度融合机构,能够提取出携带有能适应复杂的环境变化和鲁棒性好的特征描述子的激活图,再利用激活图进行回环检测,能够提高回环检测的准确性以及检测速度。
-
公开(公告)号:CN112183217A
公开(公告)日:2021-01-05
申请号:CN202010914531.7
申请日:2020-09-02
Applicant: 鹏城实验室 , 哈尔滨工业大学(深圳)
Abstract: 本发明公开了一种手势识别方法,所述方法包括以下步骤:获取待识别手势的深度图序列;基于所述深度图序列,获取所述深度图序列的关键帧序列;将所述关键帧序列输入预先训练的手势识别模型,以获得所述待识别手势的第一语义序列;基于所述第一语义序列,获得所述待识别手势的语义结果。本发明还公开了基于手势识别的交互方法与混合现实眼镜。采用本发明提供的方法旨在解决现有的基于深度学习的手势识别算法受到深度图的预设算法的误差限制精度低的技术问题。
-
公开(公告)号:CN112446846B
公开(公告)日:2025-01-21
申请号:CN202011369012.3
申请日:2020-11-27
Applicant: 鹏城实验室 , 哈尔滨工业大学(深圳)
IPC: G06T5/50
Abstract: 本发明公开一种融合帧获得方法,所述方法包括以下步骤:通过所述N个相机获取目标区域的N个目标图像,N为大于等于2的正整数;对所述N个目标图像进行特征提取,获得特征点集;基于所述特征点集,获得哈希表;基于所述哈希表,获得地图点集;基于所述哈希表,获得描述子集;基于所述哈希表、所述地图点集和所述描述子集,获得融合帧。本发明还公开了一种融合帧获得装置、SLAM系统以及存储介质。通过本发明获得的融合帧包括较多的视觉特征信息,使得融合帧的准确性较好。
-
公开(公告)号:CN113784026B
公开(公告)日:2023-04-18
申请号:CN202111003368.X
申请日:2021-08-30
Applicant: 鹏城实验室 , 哈尔滨工业大学(深圳)
Abstract: 本发明涉及图像处理技术领域,具体是涉及基于图像的计算位置信息的方法、装置、设备及存储介质。获取可见光图像和红外图像,所述可见光图像和所述红外图像均为通过图像采集装置在同一时刻获取;提取所述可见光图像的可见特征点以及所述红外图像中与所述可见特征点所对应的红外特征点;依据所述可见特征点和所述红外特征点,得到所述图像采集装置的位置信息。本发明综合利用了可见光图像和红外图像的优点,使得本发明的图像采集装置即使工作在光照不足的黑暗环境中,也能够通过对图像采集装置获取的可见光图像和红外图像进行分析,以获取两个图像中特征点,进而通过特征点获取图像采集装置的位置信息。
-
公开(公告)号:CN113784026A
公开(公告)日:2021-12-10
申请号:CN202111003368.X
申请日:2021-08-30
Applicant: 鹏城实验室 , 哈尔滨工业大学(深圳)
Abstract: 本发明涉及图像处理技术领域,具体是涉及基于图像的计算位置信息的方法、装置、设备及存储介质。获取可见光图像和红外图像,所述可见光图像和所述红外图像均为通过图像采集装置在同一时刻获取;提取所述可见光图像的可见特征点以及所述红外图像中与所述可见特征点所对应的红外特征点;依据所述可见特征点和所述红外特征点,得到所述图像采集装置的位置信息。本发明综合利用了可见光图像和红外图像的优点,使得本发明的图像采集装置即使工作在光照不足的黑暗环境中,也能够通过对图像采集装置获取的可见光图像和红外图像进行分析,以获取两个图像中特征点,进而通过特征点获取图像采集装置的位置信息。
-
公开(公告)号:CN112446431A
公开(公告)日:2021-03-05
申请号:CN202011368267.8
申请日:2020-11-27
Applicant: 鹏城实验室 , 哈尔滨工业大学(深圳)
Abstract: 本发明公开了一种特征点提取与匹配方法,该方法包括:将图像输入特征及其权重参数进行二值化处理,并对二值化后的数据进行计算以提取特征点;通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像,将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合,以对特征点进行定位;将进行定位后在空间中相邻的特征点的数据进行哈希运算,建立二进制化的哈希表;当进行匹配时,计算查询数据与所述哈希表中数据的匹配度,返回所述哈希表中匹配度最高的数据。解决了特征点提取方法存储匹配速度慢、精度不高等问题。使得特征点提取、匹配速度以及特征点定位精度都达到了很大的提升。
-
公开(公告)号:CN111738281B
公开(公告)日:2020-12-22
申请号:CN202010775779.X
申请日:2020-08-05
Applicant: 鹏城实验室
Abstract: 本发明公开了一种同时定位与建图系统及其地图软切换方法、计算机可读存储介质,该方法包括以下步骤:与终端建立连接后,接收所述终端发送的第一地图数据与位姿信息;对所述终端进行初始化后,使用预先存储的第二地图数据对所述第一地图数据与位姿信息进行优化,并将优化后的第一地图数据发送给所述终端;若检测到终端进入与管辖区域关联的设定区域,则将终端相关数据发送至云节点,以供云节点进行所述终端的地图切换。本发明解决了因算力和算法能力不足而无法提供可与环境交互的高级SLAM服务的问题,实现了满足环境的语义感知及提供可与环境交互的高级SLAM服务的效果,并且提高了对多个局部高级SLAM地图的切换效率。
-
公开(公告)号:CN111737278B
公开(公告)日:2020-12-04
申请号:CN202010776018.6
申请日:2020-08-05
Applicant: 鹏城实验室
Abstract: 本发明公开了一种同时定位与建图方法、系统、设备及存储介质。该方法包括:进入任一边缘节点的通信范围内时,与至少一个可通信的边缘节点建立通信;边缘节点存储有以边缘节点为中心的设定范围内的第一地图数据;将终端自身的第二地图数据及位置数据发送至已建立通信的边缘节点;其中,第一地图数据比第二地图数据具有更稠密的点云数据,且第一地图数据的点云数据具有语义标签;获取边缘节点发送的优化后的第二地图数据;根据优化后的第二地图数据更新自身的第二地图数据。解决了在与环境实时交互的高级SLAM过程中,计算能力、存储能力及能耗不足的问题,达到了满足环境的语义感知以及与环境实时交互的高级SLAM精准服务的效果。
-
公开(公告)号:CN111738281A
公开(公告)日:2020-10-02
申请号:CN202010775779.X
申请日:2020-08-05
Applicant: 鹏城实验室
Abstract: 本发明公开了一种同时定位与建图系统及其地图软切换方法、计算机可读存储介质,该方法包括以下步骤:与终端建立连接后,接收所述终端发送的第一地图数据与位姿信息;对所述终端进行初始化后,使用预先存储的第二地图数据对所述第一地图数据与位姿信息进行优化,并将优化后的第一地图数据发送给所述终端;若检测到终端进入与管辖区域关联的设定区域,则将终端相关数据发送至云节点,以供云节点进行所述终端的地图切换。本发明解决了因算力和算法能力不足而无法提供可与环境交互的高级SLAM服务的问题,实现了满足环境的语义感知及提供可与环境交互的高级SLAM服务的效果,并且提高了对多个局部高级SLAM地图的切换效率。
-
公开(公告)号:CN111737278A
公开(公告)日:2020-10-02
申请号:CN202010776018.6
申请日:2020-08-05
Applicant: 鹏城实验室
Abstract: 本发明公开了一种同时定位与建图方法、系统、设备及存储介质。该方法包括:进入任一边缘节点的通信范围内时,与至少一个可通信的边缘节点建立通信;边缘节点存储有以边缘节点为中心的设定范围内的第一地图数据;将终端自身的第二地图数据及位置数据发送至已建立通信的边缘节点;其中,第一地图数据比第二地图数据具有更稠密的点云数据,且第一地图数据的点云数据具有语义标签;获取边缘节点发送的优化后的第二地图数据;根据优化后的第二地图数据更新自身的第二地图数据。解决了在与环境实时交互的高级SLAM过程中,计算能力、存储能力及能耗不足的问题,达到了满足环境的语义感知以及与环境实时交互的高级SLAM精准服务的效果。
-
-
-
-
-
-
-
-
-