基于跨模态多尺度特征引导的深度图超分辨率方法及系统

    公开(公告)号:CN118570063A

    公开(公告)日:2024-08-30

    申请号:CN202410618297.1

    申请日:2024-05-17

    Abstract: 本发明公开了一种基于跨模态多尺度特征引导的深度图超分辨率方法及系统,将相同场景下的低分辨率深度图和相应的高分辨率彩色图像分别输入特征提取支路,提取第t个阶段的特征,得到一组深度图特征和一组彩色图特征;将t=0时刻的深度图特征和彩色图特征输入特征融合支路得到初始的融合特征;将初始的融合特征与当前时刻的深度图特征和彩色图特征送入特征融合支路中,得到t=1时刻的融合特征,重复多次得到t时刻的融合特征;将t时刻的融合特征送入深度图超分辨率重建支路得到高分辨率残差图像;将原始低分辨率深度图放大后与高分辨率残差图像叠加得到深度图。本发明利用多尺度特征完成高质量的深度图超分辨率并且能够具有良好的泛化性能。

    一种基于单目相机的跨模态蒸馏3D目标检测方法及系统

    公开(公告)号:CN117765525A

    公开(公告)日:2024-03-26

    申请号:CN202311786873.5

    申请日:2023-12-23

    Inventor: 杨勐 丁瑞 郑南宁

    Abstract: 本发明公开了一种基于单目相机的跨模态蒸馏3D目标检测方法及系统,使用激光雷达数据训练教师网络,使用相机数据训练学生网络,计算教师网络与学生网络各目标的深度不确定度;将训练后的教师网络和学生网络与蒸馏模块组合构成蒸馏网络,计算加权特征蒸馏与加权关系蒸馏各目标的权重;基于加权特征蒸馏与加权关系蒸馏各目标的权重计算加权特征蒸馏与加权关系蒸馏的损失函数,将神经网络的梯度反向传播,更新神经网络的参数;当更新神经网络的参数达到最大迭代次数或者满足终止条件时,保留学生网络用于真实场景。本发明有利于基于相机的场景感知算法在自动驾驶工业界的应用,有利于相关产业的快速落地与发展。

    一种基于引导滤波器的鲁棒深度图结构重建和去噪方法

    公开(公告)号:CN111223059B

    公开(公告)日:2022-02-11

    申请号:CN202010007506.0

    申请日:2020-01-04

    Abstract: 本发明公开了一种基于引导滤波器的鲁棒深度图结构重建和去噪方法,对结构错误区域进行探测,检测输入深度图经过大窗口的引导滤波和小窗口的引导滤波差别较大的地方,由于大窗口下引导滤波可以出现羽化效果,而小窗口的引导滤波仅起到平滑的作用,因此差别较大的区域可以认为是结构错误区域,标记为潜在结构错误区域,然后基于迭代重加权最小二乘算法构建权重,权重构建完成后进行整体求解并更新深度图,根据结果判断是否达到设定的迭代次数,如果达到则输出深度图结束计算,否则重新进行对结构错误区域探测。本发明能够抑制强噪声,并且能够修复深度图和彩色图结构错误区域,提高深度图和彩色图的一致性,恢复出正确的深度图边界,对提高合成视图的质量有重要的指导意义。

    一种基于显著性前景内容的低光照图像增强方法

    公开(公告)号:CN111275642A

    公开(公告)日:2020-06-12

    申请号:CN202010056934.2

    申请日:2020-01-16

    Abstract: 本发明公开了一种基于显著性前景内容的低光照图像增强方法,学习低光照图像中的显著性前景内容信息并与增强过程融合,将低光照图像输入低光照显著注意力深度网络模型SAM得到输出的显著图;向深度预测网络模型输入低光照图像并输出对应的深度图;将获得的深度图作为引导图对显著图进行引导滤波,得到显著前景图;对于输入的低光照图像,以显著前景图作为增强程度的权重,采用LIME增强算法对低光照图像进行不同程度的增强,最终得到基于显著性前景内容增强的结果图。本发明能够针对低光照图像中的显著性前景内容区域有效的增强,同时抑制背景和无关内容区域的过度增强并抑制噪声。

    基于RGB-D的SSIM结构相似度的迭代深度图结构修复方法

    公开(公告)号:CN111242855A

    公开(公告)日:2020-06-05

    申请号:CN202010007508.X

    申请日:2020-01-04

    Abstract: 本发明公开了一种基于RGB-D的SSIM结构相似度的迭代深度图结构修复方法,首先检测输入深度图的边缘,并将边缘膨胀,将膨胀后的区域标记为潜在结构失真区域,然后对潜在结构失真区域中的每个像素点判断是否失真,产生结构失真度量指标,失真像素点采用彩色图高斯权重与结构失真度量指标的乘积构建恢复权重,通过加权中值滤波进行引导恢复,然后对失真区域进行引导滤波,完成后的结果图依照上述步骤继续迭代至满足设定终止迭代条件,输出深度图结束计算。本发明通过对深度图结构失真区域进行迭代探测与恢复,以此获得较为精准的结构信息,同时也对结构未失真区域进行去噪与保边,最终能够获得结构清晰、深度值平滑的深度图。

    一种基于最优截断模型的自适应压缩传感图像获取方法

    公开(公告)号:CN105163018B

    公开(公告)日:2018-12-07

    申请号:CN201510368776.3

    申请日:2015-06-29

    Abstract: 本发明公开了一种基于最优截断模型的自适应压缩传感图像获取方法,对输入的场景图像信号根据压缩传感采样率的不同,依据最优截断模型对其变换域系数进行最优截断,再对截断后的场景图像信号进行自适应的压缩传感获取,所获取的图像压缩传感采样值通过基于查表映射的统一最优量化得到量化码字,最后得到量化输出结果。本发明利用最优截断模型来保证输入场景图像信号的变换域稀疏程度达到最优,从而大大提高压缩传感重构图像的质量;利用基于查表映射的统一最优量化实现采样数据的高效处理,能够节省系统的能量和计算资源。本发明可以满足对图像获取系统有能量、计算复杂度限制的应用环境、如无线多媒体传感网络、空间图像获取、移动终端成像等。

    一种基于最优截断模型的自适应压缩传感图像获取方法

    公开(公告)号:CN105163018A

    公开(公告)日:2015-12-16

    申请号:CN201510368776.3

    申请日:2015-06-29

    Abstract: 本发明公开了一种基于最优截断模型的自适应压缩传感图像获取方法,对输入的场景图像信号根据压缩传感采样率的不同,依据最优截断模型对其变换域系数进行最优截断,再对截断后的场景图像信号进行自适应的压缩传感获取,所获取的图像压缩传感采样值通过基于查表映射的统一最优量化得到量化码字,最后得到量化输出结果。本发明利用最优截断模型来保证输入场景图像信号的变换域稀疏程度达到最优,从而大大提高压缩传感重构图像的质量;利用基于查表映射的统一最优量化实现采样数据的高效处理,能够节省系统的能量和计算资源。本发明可以满足对图像获取系统有能量、计算复杂度限制的应用环境、如无线多媒体传感网络、空间图像获取、移动终端成像等。

    可泛化通用单目绝对深度图估计方法、系统、芯片及设备

    公开(公告)号:CN118015060A

    公开(公告)日:2024-05-10

    申请号:CN202410215687.4

    申请日:2024-02-27

    Abstract: 本发明公开了一种可泛化通用单目绝对深度图估计方法、系统、芯片及设备,分析限制模型泛化能力的因素;设计可学习的焦距映射模块;使用混合绝对深度图数据集训练模型的流程;基于扩展焦距范围的数据增强方法;基于训练数据集并使用数据增强方法,采用梯度下降方法对卷积神经网络进行训练,利用训练好的神经网络推理得到与输入彩色图片相同视点的深度图。本发明能够适应相机与应用场景的变化,且能够处理未见过的应用场景,具有较好的通用性与较强的泛化性。

    一种基于尺度传播归一化层的零样本深度补全方法及系统

    公开(公告)号:CN118014902A

    公开(公告)日:2024-05-10

    申请号:CN202410215683.6

    申请日:2024-02-27

    Abstract: 本发明公开了一种基于尺度传播归一化层的零样本深度补全方法及系统,构建尺度传播归一化层;基于得到的尺度传播归一化层构建改进的基本模块;对得到的改进的基本模块进行堆叠,得到面向三维深度的卷积神经网络架构,基于面向三维深度的卷积神经网络架构实现零样本深度补全。解决在现有深度补全网络架构中存在的上述尺度问题,提升了模型的泛化能力,实现零样本场景下的深度补全任务。

Patent Agency Ranking