-
公开(公告)号:CN103198486B
公开(公告)日:2015-09-09
申请号:CN201310124200.3
申请日:2013-04-10
Applicant: 浙江大学
Abstract: 本发明公开了一种基于各向异性扩散的深度图像增强方法。利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散的依据,基于深度图像的已知深度,完成对深度图像的深度缺失区域的填充。本发明克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题,同时突破了基于滤波的深度增强方法中滤波窗口大小的限制,具备通用性强,鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像,在实际的应用中基于相互对应的彩色图像和深度图像能够获得良好的深度图像缺失区域填充效果。
-
公开(公告)号:CN103198302A
公开(公告)日:2013-07-10
申请号:CN201310124199.4
申请日:2013-04-10
Applicant: 浙江大学
Abstract: 本发明公开了一种基于双模态数据融合的道路检测方法。包括如下步骤:激光雷达三维点的坐标系转换;获取落在摄像机图像范围内的激光雷达三维点集合;设定高度阈值,获取障碍物激光雷达三维点的子集;获取可通行道路区域激光雷达三维点的子集;获取非路区域和可通行道路区域的颜色混合高斯模型;获取图像上道路检测的感兴趣区域;构建基于马尔科夫随机场能量函数,求解能量函数最小值,获得全局最优图像道路检测结果。本发明实现了对复杂环境的鲁棒;检测结果不受道路表面阴影影响;能将传感器感知环境中细小的障碍物与可通行道路路区域区分;能对激光雷达无数据返回的区域与非路的判断;它适用于自主车辆导航等领域。
-
公开(公告)号:CN114743105B
公开(公告)日:2025-04-15
申请号:CN202210413969.6
申请日:2022-04-14
Applicant: 浙江大学
IPC: G06V20/10 , G06V10/82 , G06V10/774 , G06V10/764 , G06V10/80 , G06T9/00 , G06N3/042 , G06N3/096
Abstract: 本发明公开了一种基于跨模态知识蒸馏的深度特权单目视觉里程计方法。采集场景的彩色图像和三维点云构建视觉‑激光里程计数据集;输入视觉‑激光里程计网络和单目视觉里程计网络中分别训练;通过跨模态知识蒸馏模块来利用视觉‑激光里程计网络对单目视觉里程计网络再次训练;训练结束后,对待测的连续时刻的彩色图像序列输入训练后的单目视觉里程计网络,输出得到全局位姿,实现了单目视觉里程计的处理。本发明方法利用了更可靠的深度特权信息,对弱纹理区域和光照变化等环境因素有更好的鲁棒性,取得了显著的性能提升,有较好的通用性和普适性。
-
公开(公告)号:CN114612666B
公开(公告)日:2025-04-15
申请号:CN202210272481.6
申请日:2022-03-18
Applicant: 浙江大学
IPC: G06V10/26 , G06V20/70 , G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于多模态对比学习的语义分割方法。构建训练集,建立由语义分割基础网络和对比学习模块构成的对比学习语义分割网络;语义分割基础网络包括RGB分支、深度分支、集成模块和对比学习模块,RGB分支和深度分支的分割结果通过集成模块结合得到最终分割结果并在训练阶段监督训练,RGB分支和深度分支的中间特征在训练阶段输入对比学习模块用跨模态对比损失和同模态对比损失进行优化。将待分割的RGB图像及对应的深度图像输入训练好的对比学习语义分割网络中的语义分割基础网络进行语义分割,获得语义分割结果。本发明能够更好地挖掘RGB图像和深度图像的共性,同时保留两类图像的特性,从而提升语义分割的精度。
-
公开(公告)号:CN118429910A
公开(公告)日:2024-08-02
申请号:CN202410468573.0
申请日:2024-04-18
Applicant: 浙江大学
Abstract: 本发明公开了一种基于多尺度瓶颈Transformer的交通视频异常检测方法。本发明建立了基于多尺度瓶颈Transformer多模态融合模块的神经网络模型,包括多个单模态编码器、多模态融合模块、全局编码器和异常检测头。多模态融合模块使用减少数量的瓶颈令牌来逐步压缩信息并融合每对模态特征,并利用基于瓶颈令牌的加权方案来突出更重要的融合特征。此外,本发明提出了一种时间一致性对比损失函数,用以从语义上对齐成对融合的特征。实验结果证明,本发明在最大规模的视频异常检测数据集XD‑Violence达到了先进的性能。
-
公开(公告)号:CN118037785A
公开(公告)日:2024-05-14
申请号:CN202410271447.6
申请日:2024-03-11
Applicant: 浙江大学
IPC: G06T7/30 , G06N3/0464 , G06N3/045 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于点提示的图像配准方法。本发明建立在在基于代价体积的图像配准方法的基础上上,将信息含义丰富的提示点编码为提示令牌,然后利用自我和交叉注意力机制将这些编码的提示令牌信息集成到的代价体积中,对代价体积进行优化。与此同时,本发明设计了一种自动选择提示点的方法,提高了本发明的可用性和使用效率。实验结果证明,本发明在诸多公开数据集上的平均角点误差性能处于领域前列。
-
公开(公告)号:CN114387621A
公开(公告)日:2022-04-22
申请号:CN202210032472.X
申请日:2022-01-12
Applicant: 浙江大学
Abstract: 本发明公开了一种基于深度学习的全监督遮挡行人重识别方法。采用不同相机进行图像的采集,并标注图像中行人标签和对应的相机标签,获得训练集,建立包含全局分支、注意力分支和通道分支的多分支行人重识别网络,利用训练后的多分支行人重识别网络对待测图像进行重识别;全局分支负责提取整体性特征,注意力分支通过限制通道簇之间的关联度,选择簇心进行注意力构建,避免网络错误关注在遮挡区域;通道分支对特征图进行动态切分处理,避免了空间切分带来的误差。本发明方法综合三个分支的预测结果来对遮挡保持一定的鲁棒性,无需对遮挡进行额外标注和捕捉,只需要图像级别的标签数据集,就可以在遮挡场景中有着较好的行人匹配精度。
-
公开(公告)号:CN113256546A
公开(公告)日:2021-08-13
申请号:CN202110565626.7
申请日:2021-05-24
Applicant: 浙江大学
Abstract: 本发明公开了一种基于彩色图指导的深度图补全方法。方法包括:使用彩色相机和激光雷达分别采集同一场景区域的彩色图和点云,将激光雷达采集的点云投影到彩色相机的成像平面上获得对应的稀疏深度图,由多张彩色图和对应的稀疏深度图构成图片集,将图片集进行处理获得每张彩色图与对应的稀疏深度图的标签,由多个标签构成标签集;构建补全深度图神经网络模型;将图片集和对应的标签集同时输入到补全深度图神经网络模型中进行训练,获得训练后的补全深度图神经网络模型;将待补全的彩色图和稀疏深度图输入到训练后的补全深度图神经网络模型中,输出补全的致密深度图。本发明有效提高了致密深度图的均方误差性能。
-
公开(公告)号:CN109712105B
公开(公告)日:2020-10-27
申请号:CN201811582701.5
申请日:2018-12-24
Applicant: 浙江大学
Abstract: 本发明公开了一种结合彩色和深度信息的图像显著目标检测方法。采集多幅已知显著目标区域的彩色图像及其对应的深度图像,构建神经网络并输入彩色图像与深度图像,分别得到彩色和深度信息预测的显著图,神经网络设置一路分支预测权重图,彩色信息预测的显著图和深度信息预测的显著图根据权重图得到融合后的最终显著目标检测图;构建显著图损失函数、权重图损失函数和边缘保持损失函数进行训练,采用训练后的神经网络处理待测彩色图像及其深度图像,获得显著目标检测结果。本发明能够选择彩色及深度信息预测的显著图各自最有效的部分进行融合,同时保持边缘细节,与以往结合彩色和深度信息的图像显著目标检测方法相比取得了更好的效果。
-
公开(公告)号:CN105894502B
公开(公告)日:2019-10-11
申请号:CN201610191893.1
申请日:2016-03-30
Applicant: 浙江大学
Abstract: 本发明公开了一种基于超图模型的RGBD图像显著性检测方法,该方法包括:对待检测彩色图像和深度图像进行超像素分割,对深度图像的每一个超像素区域进行邻域深度对比图的计算,依据邻域深度对比值构建深度背景超边;提取位于图像边界的超像素区域构建边界背景超边;计算两个超边的权重,并根据超图学习算法进行超边展开,构建诱导图;基于诱导图的空间邻接关系和边权重,利用边界连通性先验计算边界背景显著图;采用基于元胞自动机的显著度更新算法和结合深度先验的融合算法得到最终的显著性检测图。本发明弥补了传统2D边界背景先验中的不足,利用深度信息和超图模型进行改进,与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。
-
-
-
-
-
-
-
-
-