一种结合彩色和深度信息的图像显著目标检测方法

    公开(公告)号:CN109712105A

    公开(公告)日:2019-05-03

    申请号:CN201811582701.5

    申请日:2018-12-24

    Applicant: 浙江大学

    Inventor: 汪宁宁 龚小谨

    Abstract: 本发明公开了一种结合彩色和深度信息的图像显著目标检测方法。采集多幅已知显著目标区域的彩色图像及其对应的深度图像,构建神经网络并输入彩色图像与深度图像,分别得到彩色和深度信息预测的显著图,神经网络设置一路分支预测权重图,彩色信息预测的显著图和深度信息预测的显著图根据权重图得到融合后的最终显著目标检测图;构建显著图损失函数、权重图损失函数和边缘保持损失函数进行训练,采用训练后的神经网络处理待测彩色图像及其深度图像,获得显著目标检测结果。本发明能够选择彩色及深度信息预测的显著图各自最有效的部分进行融合,同时保持边缘细节,与以往结合彩色和深度信息的图像显著目标检测方法相比取得了更好的效果。

    一种基于长短期记忆网络的物体和部件联合检测方法

    公开(公告)号:CN108875819A

    公开(公告)日:2018-11-23

    申请号:CN201810584336.5

    申请日:2018-06-08

    Applicant: 浙江大学

    Inventor: 姚祺 龚小谨 林颖

    Abstract: 本发明公开了一种基于长短期记忆网络的物体和部件联合检测方法。采集多幅已知物体和部件目标框标签的图像,对图像I进行处理获得特征图,再在特征图基础上获取物体、部件候选区域集合及其对应的区域特征;构建基于长短期记忆网络的物体和部件联合检测网络,将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中,利用带动量的SGD算法训练物体和部件联合检测网络;采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。本发明和以往独立的目标检测或者部件检测相比,能够利用目标和部件之间的关系同时提高目标和部件检测的性能。

    一种基于深度学习的端到端的语义即时定位与建图方法

    公开(公告)号:CN108665496A

    公开(公告)日:2018-10-16

    申请号:CN201810236640.0

    申请日:2018-03-21

    Applicant: 浙江大学

    Inventor: 严超华 龚小谨

    Abstract: 本发明公开了一种基于深度学习的端到端的语义即时定位与建图方法。通过彩色相机和激光雷达分别采集得到连续的原始图像序列以及与图像序列对应的原始三维点云序列,处理获得连续五帧图像序列的位姿变换信息、深度信息和语义分割信息;构建带分支的多任务深度神经网络,输入到多任务深度神经网络中,训练多任务深度神经网络获得参数,采用训练后的多任务深度神经网络对连续五帧的待测图像序列进行处理,获得图像帧之间的位姿变换信息、深度信息和语义分割信息。与传统的ORB-SLAM算法和同样基于深度学习的方法相比,本发明方法有更好的性能。

    基于概率图模型的非参数化的RGB-D场景理解方法

    公开(公告)号:CN104599275B

    公开(公告)日:2018-06-12

    申请号:CN201510039559.X

    申请日:2015-01-27

    Applicant: 浙江大学

    Inventor: 费婷婷 龚小谨

    CPC classification number: Y02D10/45

    Abstract: 本发明公开了一种基于概率图模型的非参数化的RGB‑D场景理解方法。将待标注图像与训练集中已标注的图像进行全局特征匹配,构建待标注图像相似图像的检索集;将待标注图像及其相似图像检索集中的图像进行过分割,生成超像素,并对生成的超像素进行特征提取;计算训练集中各个类别所占的比例,构建稀有类别的词典,与相似图像的检索集一起作为待标注图像的标签源;将待标注图像中的每个超像素与该图像标签源中的所有超像素进行特征匹配;构建概率图模型,利用马尔科夫随机场将最大化后验概率转化成最小化能量函数的优化问题,利用图割方法求解该问题得到待标注图像每个超像素的语义标注。本发明整合了全局和局部的几何信息,提高了RGB‑D场景理解的性能。

    结合彩色和深度信息的图像显著性检测方法

    公开(公告)号:CN104574375B

    公开(公告)日:2017-05-03

    申请号:CN201410814816.8

    申请日:2014-12-23

    Applicant: 浙江大学

    Inventor: 任健强 龚小谨

    Abstract: 本发明公开了一种结合彩色和深度信息的图像显著性检测方法,该方法包括:对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图;融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图;对融合先验的对比度图进行全局优化:执行法向内积加权的网页排名算法,并选取置信度高的区域作为采样区域,设计基于马尔科夫随机场模型的图像恢复问题,求解得到最终的显著性检测图。本发明挖掘了深度和方向信息对显著性的影响,与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

    基于L1正则化的图像显著性检测方法

    公开(公告)号:CN104217430B

    公开(公告)日:2017-02-15

    申请号:CN201410425506.7

    申请日:2014-08-26

    Applicant: 浙江大学

    Inventor: 任健强 龚小谨

    Abstract: 本发明公开了一种基于L1正则化的图像显著性检测方法,该方法包括以下步骤:对待检测图像进行傅立叶变换,对其频域幅度谱进行不同尺度的高斯滤波,构建频域的尺度空间;设计基于全变分的稀疏优化问题,利用Split Bregman方法求解该问题,得到一组候选显著性图像;使用图像二维熵作为选取标准,从候选显著性图像中选取二维熵最小的图像并进行空域的高斯滤波,得到最终的显著性图像;本发明结合了显著性图像的空域和频域的特性,有效地消除了复杂背景的影响,并且可以高效的求解,与以往频域分析的显著性检测方法相比,在人眼注视点检测和物体分割检测方面取得了更好的效果。

    一种基于各向异性扩散的深度图像增强方法

    公开(公告)号:CN103198486A

    公开(公告)日:2013-07-10

    申请号:CN201310124200.3

    申请日:2013-04-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于各向异性扩散的深度图像增强方法。利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散的依据,基于深度图像的已知深度,完成对深度图像的深度缺失区域的填充。本发明克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题,同时突破了基于滤波的深度增强方法中滤波窗口大小的限制,具备通用性强,鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像,在实际的应用中基于相互对应的彩色图像和深度图像能够获得良好的深度图像缺失区域填充效果。

    一种基于多模态对比学习的深度特权语义分割方法

    公开(公告)号:CN114332099B

    公开(公告)日:2025-02-07

    申请号:CN202111626188.7

    申请日:2021-12-28

    Applicant: 浙江大学

    Inventor: 柯丹宁 龚小谨

    Abstract: 本发明公开了一种基于多模态对比学习的深度特权语义分割方法。采集RGB图像和深度图像并与类别共同构成训练集,建立均包含语义分割基础网络和投影模块的RGB分支和深度分支;用逐像素交叉熵损失监督训练两个语义分割基础网络;用跨模态对比损失优化由投影模块得到的嵌入特征,通过反向传播算法使得语义分割基础网络中的特征编码器能够挖掘RGB特征和深度特征的共性,一定程度上改善RGB图像中由于色彩纹理相近而难于分割的情况,从而提升语义分割的精度。本发明在推理阶段只需要场景的RGB图像而无需深度信息,由于在训练阶段引入了深度信息,有较好的分割能力和泛化性能。

    一种基于混合专家的可见光-红外语义分割方法

    公开(公告)号:CN119380016A

    公开(公告)日:2025-01-28

    申请号:CN202411415991.X

    申请日:2024-10-11

    Applicant: 浙江大学

    Inventor: 王辰旭 龚小谨

    Abstract: 本发明公开了一种基于混合专家的可见光‑红外语义分割方法。本发明建立了基于混合专家的神经网络模型,能够有效地融合可见光和红外特征,从而得到更为精确的分割结果。本发明提出了一种带有通道注意力的路由选择器,能够自适应地为不同的可见光‑红外图像对选择合适的专家网络,从而提高了模型在应对不同场景时的泛化性能。此外,本发明设计的基于混合专家的特征融合模块具有稀疏性,在提高模型表达能力的同时只增加了少量的计算开销,在模型的效果和推理速度之间取得了较好的平衡。实验结果证明,本发明在广泛使用的MFNet数据集上达到了先进的性能。

    一种基于测试阶段优化的跨模态图像配准方法

    公开(公告)号:CN116523980A

    公开(公告)日:2023-08-01

    申请号:CN202310476325.6

    申请日:2023-04-28

    Applicant: 浙江大学

    Inventor: 傅思翰 龚小谨

    Abstract: 本发明公开了一种基于测试阶段优化的跨模态图像配准方法。本发明使用测试阶段优化方法在同模态图像训练得到配准神经网络的基础上,针对跨模态图像进行配准。网络模型首先利用一个两分支的骨架网络分别输入原始图像对和模态不变性图像对,然后提取两分支的图像特征并分别计算代价体积,接着借助代价聚合网络模型融合并精炼两个分支的代价信息,最后将得到的结果输入到迭代单应变换估计器。本发明首先利用同模态图像数据集,训练骨架网络和迭代单应变换估计器;训练结束后,在测试阶段针对具体的测试图像对,对代价聚合网络模型进行训练。实验结果证明,无需额外的多光谱或者多模态训练图像,本发明的平均角点误差性能处于领域前列。

Patent Agency Ranking