公开(公告)号：CN111598172A

公开(公告)日：2020-08-28

申请号：CN202010420998.6

申请日：2020-05-18

Applicant: 东北大学

Inventor： 张云洲 ,  夏崇坤 ,  王磊 ,  秦操 ,  暴吉宁 ,  陈昕 ,  李奇

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  B25J9/16

Abstract: 本发明属于目标检测与机器人操作领域，公开了基于异构深度网络融合的动态目标抓取姿态快速检测方法。所述方法包括：1.动态目标样本集的制作方法；2.异构深度网络的训练方法；3.异构深度网络的融合机制；4.抓取姿态确定方法。待检测的动态目标物体，通过深度相机获取其RGB图像和深度图，然后将RGB图和深度图进行I型深度网络的目标识别，获取目标的边界框和中心区域的点云信息，然后通过异构融合机制选取合适的点云输入到II型深度网络中进行抓取姿态识别，进而得到最终的抓取姿态检测结果。该方法可以充分发挥不同深度网络的优势，可快速提取动态目标的核心特征，进而实现高效稳定的抓取姿态检测与识别。

公开(公告)号：CN116452788A

公开(公告)日：2023-07-18

申请号：CN202310434272.1

申请日：2023-04-21

Applicant: 东北大学

Inventor： 张云洲 ,  王震宇 ,  暴吉宁 ,  赵新歌

IPC: G06V10/10 ,  G06V10/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种极度轻量级的实时显著性目标检测方法，涉及目标检测技术领域。本发明首先提出了一种新颖的小波变换模块WTM，它通过融合小波变换理论和CNN实现特征下采样。通过WTM的级联构建编码器，使用有限的参数实现高质量的多级编码，同时无需进行预训练操作。然后提出了一种新颖的小波变换融合模块WTFM，它可以通过小波变换、CNN和一种残差机制实现特征上采样和融合操作。通过WTFM级联构建解码器，实现高质量解码，最终只需要通过常规的BCE+IOU混合损失函数就可以实现模型的高质量训练。该发明凭借其极度轻量化程度、较好的准确率和较高的串行数据处理实时性可以轻易的嵌入到其他计算机视觉任务中以提高他们的性能，不再受到计算资源的限制。

公开(公告)号：CN111667099B

公开(公告)日：2023-10-10

申请号：CN202010421011.2

申请日：2020-05-18

Applicant: 东北大学

Inventor： 张云洲 ,  夏崇坤 ,  王磊 ,  陈昕 ,  秦操 ,  暴吉宁 ,  李奇

IPC: G06F18/24 ,  G06F18/214 ,  G06N3/0442 ,  H04W4/029 ,  G06F30/27 ,  G06F16/29

Abstract: 本发明属于目标检测与机器人操作领域，公开了基于时间粒度提升的动态目标不确定运动轨迹预测方法，包括如下步骤：利用机器人视觉处理模块采集原始运动轨迹数据通过标准化，作为训练集；通过粒度分割实现轨迹数据的粒度化；通过时间粒度提升策略，选择合适的基预测器权重系数并完成训练，构建高精度协同预测模型；通过滚动迭代和基预测器集成获得多步高精度预测值。本方法通过粒度化提取轨迹的有效特征，在保持训练时间基本不变的情况下，大幅度提高了动态目标不确定运动轨迹的预测精度和准确率，还增强了算法对噪声信息的抗干扰能力，对于后续机器人实施自主动态操作具有重要意义。

公开(公告)号：CN107204018A

公开(公告)日：2017-09-26

申请号：CN201710267902.5

申请日：2017-04-24

Applicant: 东北大学

Inventor： 张云洲 ,  李奇 ,  王语涵 ,  徐宁 ,  暴吉宁 ,  贾存迪 ,  付兴

IPC: G06T7/90

CPC classification number: G06T7/90

Abstract: 一种基于光照差异的颜色补偿方法，包括以下步骤：首先就要将源图像和目标图像从RGB颜色空间变换到Lab颜色空间。在源图像和目标图像都转换到Lab颜色空间后，分别计算两幅图像每个通道的颜色统计特征。将一幅图像的颜色特征移植到另一幅图像中，在预处理阶段计算每一对相邻摄像机之间的CCT模型时，可通过同一个目标在两个摄像机图像中不同的观测结果求得；当没有可匹配的目标时，将会利用摄像机视野中的整个图像的色彩特征初始化CCT模型。在保证目标特征不丢失的情况下，本方法实现了视野内共现目标的颜色转换，在可靠特征提取算法的基础上，有效对颜色差异较大的目标进行颜色补偿，增加了外观关联的可靠性，时间负荷增加也不甚明显。

公开(公告)号：CN107194413A

公开(公告)日：2017-09-22

申请号：CN201710270756.1

申请日：2017-04-24

Applicant: 东北大学

Inventor： 张云洲 ,  贾存迪 ,  徐宁 ,  暴吉宁 ,  李奇 ,  付兴

IPC: G06K9/62

CPC classification number: G06K9/6203 ,  G06K9/6256

Abstract: 一种基于多特征融合的判别型级联外观模型的目标匹配方法，包括如下步骤：基于MIL进行训练样本集合的在线获取，并利用样本进行特征训练和学习；对目标模版提取多种特征融合形成健壮特征描述子，多次实验组合确定描述子权重，利用改进的B氏距离进行相似性度量；使用Top‑rank指标对RGB直方图和HOG等融合特征进行匹配性能评估；基于Adaboost算法进行不断学习和训练，经过理论推导和实验验证，分类器的误差率以指数级下降，直至稳定收敛；对训练样本数据集X＝{Xi|Xi∈{X+,X‑}}作为输入进行训练，得到跨视角样本组合的判别型外观模型H(x)；在线更新样本集合的标签并用于在线学习，再利用得到的示例的概率对粒子滤波的先验估计结果进行重加权。

公开(公告)号：CN111598172B

公开(公告)日：2023-08-29

申请号：CN202010420998.6

申请日：2020-05-18

Applicant: 东北大学

Inventor： 张云洲 ,  夏崇坤 ,  王磊 ,  秦操 ,  暴吉宁 ,  陈昕 ,  李奇

IPC: G06V10/774 ,  G06V10/82 ,  B25J9/16 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明属于目标检测与机器人操作领域，公开了基于异构深度网络融合的动态目标抓取姿态快速检测方法。所述方法包括：1.动态目标样本集的制作方法；2.异构深度网络的训练方法；3.异构深度网络的融合机制；4.抓取姿态确定方法。待检测的动态目标物体，通过深度相机获取其RGB图像和深度图，然后将RGB图和深度图进行I型深度网络的目标识别，获取目标的边界框和中心区域的点云信息，然后通过异构融合机制选取合适的点云输入到II型深度网络中进行抓取姿态识别，进而得到最终的抓取姿态检测结果。该方法可以充分发挥不同深度网络的优势，可快速提取动态目标的核心特征，进而实现高效稳定的抓取姿态检测与识别。

公开(公告)号：CN111667099A

公开(公告)日：2020-09-15

申请号：CN202010421011.2

申请日：2020-05-18

Applicant: 东北大学

Inventor： 张云洲 ,  夏崇坤 ,  王磊 ,  陈昕 ,  秦操 ,  暴吉宁 ,  李奇

IPC: G06Q10/04 ,  G06K9/62 ,  G06N3/04 ,  H04W4/029

Abstract: 本发明属于目标检测与机器人操作领域，公开了基于时间粒度提升的动态目标不确定运动轨迹预测方法，包括如下步骤：利用机器人视觉处理模块采集原始运动轨迹数据通过标准化，作为训练集；通过粒度分割实现轨迹数据的粒度化；通过时间粒度提升策略，选择合适的基预测器权重系数并完成训练，构建高精度协同预测模型；通过滚动迭代和基预测器集成获得多步高精度预测值。本方法通过粒度化提取轨迹的有效特征，在保持训练时间基本不变的情况下，大幅度提高了动态目标不确定运动轨迹的预测精度和准确率，还增强了算法对噪声信息的抗干扰能力，对于后续机器人实施自主动态操作具有重要意义。