公开(公告)号：CN111126412A

公开(公告)日：2020-05-08

申请号：CN201911159408.2

申请日：2019-11-22

Applicant: 复旦大学

Inventor： 路红 ,  李宝根 ,  王琳 ,  杨博弘

IPC: G06K9/46 ,  G06K9/62

Abstract: 本发明属于计算机图像处理技术领域，具体为基于特征金字塔网络的图像关键点检测方法。本发明方法包括：通过特征金字塔网络提取高表征性图像特征，对尺度、视角几何变换、光照、模糊等都具备鲁棒性；并生成适用于关键点检测的训练数据集；在训练阶段，灰度图像作为网络模型的输入，使用在ImageNet数据集上预训练得到的权重参数来初始化网络模型参数，使用训练数据集对网络参数进行微调，最后输出和输入图像尺寸相同的概率图，图中的每个值处于0到1之间，值越大代表该点越适合作为关键点；在测试阶段使用非极大值抑制算法来避免响应值大的点堆积在一小部分区域，并且设置不同大小的阈值控制关键点数量，保证关键点质量。

公开(公告)号：CN111126412B

公开(公告)日：2023-04-18

申请号：CN201911159408.2

申请日：2019-11-22

Applicant: 复旦大学

Inventor： 路红 ,  李宝根 ,  王琳 ,  杨博弘

IPC: G06V10/46 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明属于计算机图像处理技术领域，具体为基于特征金字塔网络的图像关键点检测方法。本发明方法包括：通过特征金字塔网络提取高表征性图像特征，对尺度、视角几何变换、光照、模糊等都具备鲁棒性；并生成适用于关键点检测的训练数据集；在训练阶段，灰度图像作为网络模型的输入，使用在ImageNet数据集上预训练得到的权重参数来初始化网络模型参数，使用训练数据集对网络参数进行微调，最后输出和输入图像尺寸相同的概率图，图中的每个值处于0到1之间，值越大代表该点越适合作为关键点；在测试阶段使用非极大值抑制算法来避免响应值大的点堆积在一小部分区域，并且设置不同大小的阈值控制关键点数量，保证关键点质量。

公开(公告)号：CN107193279A

公开(公告)日：2017-09-22

申请号：CN201710320077.0

申请日：2017-05-09

Applicant: 复旦大学

Inventor： 路红 ,  白云汉 ,  李宝根 ,  李超鹏 ,  杨博弘 ,  王琳 ,  骆颇 ,  张文强 ,  张睿 ,  陈辰 ,  薛向阳

IPC: G05D1/02

CPC classification number: G05D1/0251 ,  G05D1/0276

Abstract: 本发明公开了一种基于单目视觉和IMU信息的机器人定位与地图构建系统。本发明利用纯视觉导航信息对IMU偏差模型、绝对尺度以及重力加速度方向等进行估计；在视觉导航中，使用高效的ORB特征提取算法，对图像帧提取丰富的ORB特征；利用基于预积分的IMU动力学模型建立相机的运动模型，对相机位置进行实时初步估计；在初步估计的基础上对两个图像帧之间的ORB特征进行更为精确的估计，再利用多目几何知识，实现对空间地图点三维重构；在融合IMU信息的视觉信息匹配的基础之上，采用基于因子图的后端优化算法，实时对地图位置进行精确和实时的估计。本发明能够对机器人运动和周围环境信息进行精确的估计。

公开(公告)号：CN107230219B

公开(公告)日：2021-06-04

申请号：CN201710309607.1

申请日：2017-05-04

Applicant: 复旦大学

Inventor： 路红 ,  骆颇 ,  李超鹏 ,  李宝根 ,  白云汉 ,  杨博弘 ,  姚泽平 ,  张文强 ,  张睿 ,  陈辰 ,  薛向阳 ,  樊清涛 ,  徐林

IPC: G06T7/246

Abstract: 本发明属于计算机图像处理技术领域，具体为一种单目机器人上的目标人发现与跟随方法。本发明步骤包括：机器人同时定位和建图，运动帧与运动区域检测，在运动帧的运动区域进行视觉目标检测，视觉目标人追踪，视觉目标人跟随。本发明利用机器人移动过程中的场景变化检测来分析需要进行目标检测的区域，利用深度网络进行室内人的检测，利用视觉追踪算法对目标进行追踪，并控制机器人进行主动跟随。本发明基于对象视觉特征，结合机器人同时定位和见图过程对场景的估计，能够对室内目标人进行有效的发现和跟随。本发明能够在多样的图像和复杂的背景下，在室内场景对目标人进行有效的发现、追踪与跟随。

公开(公告)号：CN107230219A

公开(公告)日：2017-10-03

申请号：CN201710309607.1

申请日：2017-05-04

Applicant: 复旦大学

Inventor： 路红 ,  骆颇 ,  李超鹏 ,  李宝根 ,  白云汉 ,  杨博弘 ,  姚泽平 ,  张文强 ,  张睿 ,  陈辰 ,  薛向阳 ,  樊清涛 ,  徐林

IPC: G06T7/246

CPC classification number: G06T7/251 ,  G06T2207/20081 ,  G06T2207/20084 ,  G06T2207/30196

Abstract: 本发明属于计算机图像处理技术领域，具体为一种单目机器人上的目标人发现与跟随方法。本发明步骤包括：机器人同时定位和建图，运动帧与运动区域检测，在运动帧的运动区域进行视觉目标检测，视觉目标人追踪，视觉目标人跟随。本发明利用机器人移动过程中的场景变化检测来分析需要进行目标检测的区域，利用深度网络进行室内人的检测，利用视觉追踪算法对目标进行追踪，并控制机器人进行主动跟随。本发明基于对象视觉特征，结合机器人同时定位和见图过程对场景的估计，能够对室内目标人进行有效的发现和跟随。本发明能够在多样的图像和复杂的背景下，在室内场景对目标人进行有效的发现、追踪与跟随。