-
公开(公告)号:CN111667099B
公开(公告)日:2023-10-10
申请号:CN202010421011.2
申请日:2020-05-18
Applicant: 东北大学
IPC: G06F18/24 , G06F18/214 , G06N3/0442 , H04W4/029 , G06F30/27 , G06F16/29
Abstract: 本发明属于目标检测与机器人操作领域,公开了基于时间粒度提升的动态目标不确定运动轨迹预测方法,包括如下步骤:利用机器人视觉处理模块采集原始运动轨迹数据通过标准化,作为训练集;通过粒度分割实现轨迹数据的粒度化;通过时间粒度提升策略,选择合适的基预测器权重系数并完成训练,构建高精度协同预测模型;通过滚动迭代和基预测器集成获得多步高精度预测值。本方法通过粒度化提取轨迹的有效特征,在保持训练时间基本不变的情况下,大幅度提高了动态目标不确定运动轨迹的预测精度和准确率,还增强了算法对噪声信息的抗干扰能力,对于后续机器人实施自主动态操作具有重要意义。
-
公开(公告)号:CN109636905B
公开(公告)日:2023-01-24
申请号:CN201811492375.9
申请日:2018-12-07
Applicant: 东北大学
Abstract: 本发明提出了一种基于深度卷积神经网络的环境语义建图方法,该方法能够借助深度学习在场景识别方面的优势,与SLAM技术的自主定位优势相结合,构建包含物体类别信息的环境地图。具体地,利用ORB‑SLAM对输入图像序列进行关键帧筛选和帧间位姿估计;利用一种基于Deeplab图像分割的改进方法进行二维语义分割;在卷积网络最后一层的后面引入上采样卷积层;利用深度信息作为门限信号控制不同卷积核的选择,并对齐分割后的图像与深度图,利用相邻关键帧之间的空间对应关系构建三维稠密语义地图。上述方案能够提高图像分割的精度,具有更高的构图效率。
-
公开(公告)号:CN114049541A
公开(公告)日:2022-02-15
申请号:CN202111000756.2
申请日:2021-08-27
Abstract: 本发明公开了一种基于结构化信息特征解耦与知识迁移的视觉场景识别方法,包括如下步骤:使用Canny边缘检测器提取图像的边缘表示形式,并基于自动编码器将其转换为边缘特征矢量;利用微调后的ResNet‑34提取图像的外观特征表示;对于输入图像,送入特征解耦网络分别生成结构化特征向量与外观特征向量,结构化特征向量的特征分布将会与内容教师模块生成的边缘特征矢量进行对比;解码器整合输入的特征并重构原始图像,用于鼓励所学习的内容特征与外观特征能够形成完整的输入图像的表示,提取结构化特征向量作为最终的场景特征,并利用余弦距离计算优化特征间的相似度,实现视觉场景识别。
-
公开(公告)号:CN114708482A
公开(公告)日:2022-07-05
申请号:CN202210174254.X
申请日:2022-02-24
Abstract: 本发明公开了基于密度滤波和地标显著性的拓扑图场景识别方法及装置,有效解决视角变化下的场景识别问题,在目标检测算法的基础上,对得到的地标提取SIFT关键点,充分利用SIFT关键点对视角变化具有鲁棒性的特性,采用密度滤波算法获取具有视角不变性的地标,然后,通过对查询帧和参考帧中视角不变性地标的深度全局描述子进行交叉认证以及地标的形状分数的对比,得到两帧中相互匹配的地标,考虑到提取的地标仅仅代表图像的一小部分,一些低辨识度的地标可能会引起混淆,从而对匹配结果产生负面影响,因此使用地标定位网络获得地标显著性,然后利用基于地标间的空间关系、外观和图像显著性的拓扑图结构计算查询帧和参考帧匹配分数。
-
公开(公告)号:CN109636905A
公开(公告)日:2019-04-16
申请号:CN201811492375.9
申请日:2018-12-07
Applicant: 东北大学
CPC classification number: G06T17/05 , G06T7/11 , G06T7/38 , G06T19/20 , G06T2207/10024 , G06T2207/10028 , G06T2207/20016 , G06T2207/20084 , G06T2219/2012
Abstract: 本发明提出了一种基于深度卷积神经网络的环境语义建图方法,该方法能够借助深度学习在场景识别方面的优势,与SLAM技术的自主定位优势相结合,构建包含物体类别信息的环境地图。具体地,利用ORB‑SLAM对输入图像序列进行关键帧筛选和帧间位姿估计;利用一种基于Deeplab图像分割的改进方法进行二维语义分割;在卷积网络最后一层的后面引入上采样卷积层;利用深度信息作为门限信号控制不同卷积核的选择,并对齐分割后的图像与深度图,利用相邻关键帧之间的空间对应关系构建三维稠密语义地图。上述方案能够提高图像分割的精度,具有更高的构图效率。
-
公开(公告)号:CN107229934A
公开(公告)日:2017-10-03
申请号:CN201710255005.2
申请日:2017-04-24
Applicant: 东北大学
IPC: G06K9/46
CPC classification number: G06K9/4609
Abstract: 基于最小匹配距离与随机采样一致性的错误匹配去除方法,包括如下步骤:计算出匹配数据集合中所有匹配对的匹配距离,选出其中的最小的匹配距离,将匹配距离大于最小匹配距离n倍的匹配对去除,保留剩余的匹配数据集合O,从集合O中随机选出m个不共线的样本,计算得出单应性矩阵H,记为模型M,利用模型M对O中的全部数据进行测试,并计算全部数据与模型M的投影误差,若误差小于阈值T,则将对应点加入到内点集合I,若当前内点集元素个数大于最优内点集Ibest个数,则令Ibest=I,同时更新迭代次数k,若k大于K,输出Ibest及其对应的模型M,若k小于K,则返回。本算法在保证实时性和准确性的同时,有效避免了特征点较少以及错误匹配无法去除干净的情况。
-
公开(公告)号:CN105574797A
公开(公告)日:2016-05-11
申请号:CN201410524451.5
申请日:2014-10-09
Applicant: 东北大学
IPC: G06Q50/26 , A61B5/0205 , A61B5/11
Abstract: 本发明提供了一种面向消防员协同的头戴式信息集成装置及方法,装置由惯性导航装置模块、生命体特征传感器模块、头戴式信息集成装置模块、远端数据库模块和远端控制中心模块组成;惯性导航装置模块采集消防人员的位置信息,生命体特征传感器模块采集消防人员的各类生命体特征信息;头戴式信息集成装置模块处理采集信息,同时处理后的数据、行进路线、指挥命令以及队友状态信息集成显示在头戴式眼镜显示器实时加载的电子地图上;远端数据库模块与远端控制中心模块分别用于存储各类信息和网页显示各个消防人员的生命体特征动态变化图和行进路线;该头戴式信息集成装置轻巧便携、信息集成度高,最大限度地降低了对消防员救援行动的影响程度。
-
公开(公告)号:CN113033669B
公开(公告)日:2024-05-14
申请号:CN202110331476.3
申请日:2021-03-29
Applicant: 东北大学
Abstract: 一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法,包括如下步骤:对每帧输入图像进行基础网络的稠密特征提取,利用池化方式生成二通道描述符。然后利用全连接层与激活函数的结构生成新的通道权重,并与原始输入的卷积特征进行重新尺度化操作,生成过滤特征。随后针对过滤后的特征图,建立完全图模型,通过信息生成网络输出每个节点的影响力信息,并以非线性组合的方式,实现节点特征的更新。最后通过子认证网络,促使同一地点的图像特征映射至相同的特征空间,并利用余弦距离计算优化特征间的相似度,实现视觉场景识别。极大地提升了机器人在大尺度场景下的视觉定位准确性,有助于开展更智能化的视觉导航等工作。
-
公开(公告)号:CN111598172B
公开(公告)日:2023-08-29
申请号:CN202010420998.6
申请日:2020-05-18
Applicant: 东北大学
IPC: G06V10/774 , G06V10/82 , B25J9/16 , G06N3/0464 , G06N3/045 , G06N3/08
Abstract: 本发明属于目标检测与机器人操作领域,公开了基于异构深度网络融合的动态目标抓取姿态快速检测方法。所述方法包括:1.动态目标样本集的制作方法;2.异构深度网络的训练方法;3.异构深度网络的融合机制;4.抓取姿态确定方法。待检测的动态目标物体,通过深度相机获取其RGB图像和深度图,然后将RGB图和深度图进行I型深度网络的目标识别,获取目标的边界框和中心区域的点云信息,然后通过异构融合机制选取合适的点云输入到II型深度网络中进行抓取姿态识别,进而得到最终的抓取姿态检测结果。该方法可以充分发挥不同深度网络的优势,可快速提取动态目标的核心特征,进而实现高效稳定的抓取姿态检测与识别。
-
公开(公告)号:CN113033669A
公开(公告)日:2021-06-25
申请号:CN202110331476.3
申请日:2021-03-29
Applicant: 东北大学
Abstract: 一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法,包括如下步骤:对每帧输入图像进行基础网络的稠密特征提取,利用池化方式生成二通道描述符。然后利用全连接层与激活函数的结构生成新的通道权重,并与原始输入的卷积特征进行重新尺度化操作,生成过滤特征。随后针对过滤后的特征图,建立完全图模型,通过信息生成网络输出每个节点的影响力信息,并以非线性组合的方式,实现节点特征的更新。最后通过子认证网络,促使同一地点的图像特征映射至相同的特征空间,并利用余弦距离计算优化特征间的相似度,实现视觉场景识别。极大地提升了机器人在大尺度场景下的视觉定位准确性,有助于开展更智能化的视觉导航等工作。
-
-
-
-
-
-
-
-
-