用于立体视觉在线自校正与自监督视差估计的优化方法

    公开(公告)号:CN114677417B

    公开(公告)日:2024-10-29

    申请号:CN202210269649.8

    申请日:2022-03-18

    Abstract: 本发明公开了用于立体视觉在线自校正与自监督视差估计的优化方法,在立体校正子网络中,利用权重共享的特征提取器对输入的未校正图像进行特征提取,得到未校正图像对的特征,对未校正图像对的特征进行拼接,接着利用编解码器结构输出四点法参数化后的单应性参数,再利用归一化的直接线性变换算法得到单应性变换矩阵,最终实现图像的自校正。在立体匹配子网络中,以立体校正子网络输出的校正后图像作为输入,用特征提取模块得到若干尺度特征,再用关联的方式构建对应的多尺度代价体,最后用跨尺度聚合模块进行代价聚合,利用视差回归得到最终的视差预测结果。与现有工作相比,本发明可以显著提升立体视觉系统在实际应用中的鲁棒性。

    一种基于自适应候选视差预测网络的实时双目立体匹配方法

    公开(公告)号:CN112435282B

    公开(公告)日:2023-09-12

    申请号:CN202011176728.1

    申请日:2020-10-28

    Abstract: 本发明公开了一种基于自适应候选视差预测网络的实时双目立体匹配方法。该方法首先利用二维卷积神经网络对立体图像对进行多尺度特征提取,得到高、低分辨率的特征图。然后,第一阶段视差估计利用低分辨率特征图进行视差粗估计。在利用粗估计结果和左图信息预测得到自适应候选视差以后,第二阶段视差估计则利用预测结果和高分辨率特征图进行精细视差估计。最后,对视差图进行层次化精修得到全尺寸视差图。与现有的由粗到精立体匹配神经网络相比,本发明可以为精细视差估计阶段预测更准确的动态偏移量,以满足图像中各种目标不同的视差校正需求。由于动态预测的有效性,本发明设计了两级处理结构以大幅提高实时双目立体匹配网络的计算精度和速度。

    一种近似计算批量归一化层的硬件架构及方法

    公开(公告)号:CN116205287A

    公开(公告)日:2023-06-02

    申请号:CN202310146623.9

    申请日:2023-02-21

    Abstract: 本发明公开了一种近似计算批量归一化层的硬件架构及方法,硬件架构包括:前向传播模块,用于在深度神经网络正向传播过程中近似计算BN层的前向计算过程;反向传播模块,用于深度神经网络在反向梯度传播时进行梯度信息的计算。本发明提出通过一个批次特征图中,每张特征图的最大神经元和最小神经元的平均值来近似计算小批量的总体均值;同时,使用比例调整因子C,通过将其与小批量的每个特征图的最大神经元与最小神经元差值的均值相乘,来近似计算小批量的总体标准差,从而近似计算BN层。本发明能够有效减少BN层(即批量归一化层)的浮点运算次数和外部存储器访问次数。

    用于立体视觉在线自校正与自监督视差估计的优化方法

    公开(公告)号:CN114677417A

    公开(公告)日:2022-06-28

    申请号:CN202210269649.8

    申请日:2022-03-18

    Abstract: 本发明公开了用于立体视觉在线自校正与自监督视差估计的优化方法,在立体校正子网络中,利用权重共享的特征提取器对输入的未校正图像进行特征提取,得到未校正图像对的特征,对未校正图像对的特征进行拼接,接着利用编解码器结构输出四点法参数化后的单应性参数,再利用归一化的直接线性变换算法得到单应性变换矩阵,最终实现图像的自校正。在立体匹配子网络中,以立体校正子网络输出的校正后图像作为输入,用特征提取模块得到若干尺度特征,再用关联的方式构建对应的多尺度代价体,最后用跨尺度聚合模块进行代价聚合,利用视差回归得到最终的视差预测结果。与现有工作相比,本发明可以显著提升立体视觉系统在实际应用中的鲁棒性。

    基于高斯-拉普拉斯金字塔的无监督学习X光图像增强方法

    公开(公告)号:CN112819716A

    公开(公告)日:2021-05-18

    申请号:CN202110130545.4

    申请日:2021-01-29

    Abstract: 基于高斯‑拉普拉斯金字塔的无监督学习X光图像增强方法,该方法首先使用高斯‑拉普拉斯金字塔算法生成高对比度高噪声图像XGL;然后,将原始图像Xori输入至X光图像增强网络中,得到网络输出图像Xnet;在整个过程中,使用对比度相似度损失函数计算图像Xnet与图像XGL之间的对比度相似度值,使用结构相似度损失函数计算图像Xnet与原始图像Xori之间的结构相似度值,将两者乘以相应的系数后相加得到总相似度值,不断迭代优化使之收敛至最小。最终完成优化,满足要求的生成图像Xnet即为最终的输出图像Xoutput。与现有X光图像增强方法相比,本发明处理后的图像对比度增强幅度合适、图像局部和整体的语义信息完整,同时处理后的图像结构平滑,噪声少,整体图像质量高。

    基于掩模自动生成与混合特征增强的遮挡目标检测方法

    公开(公告)号:CN119445578A

    公开(公告)日:2025-02-14

    申请号:CN202411107097.6

    申请日:2024-08-13

    Abstract: 本发明涉及目标检测技术领域,具体涉及一种基于掩模自动生成与混合特征增强的遮挡目标检测方法,包括:构建遮挡样板库,遮挡样板库中的样本包括语义信息;利用遮挡样板库和掩模自动生成算法,对所述训练集中的图片进行数据预处理,获得预处理后的训练集,训练集包括多个第一图片,预处理后的训练集包括多个第二图片;第一图片与第二图片一一对应;将第一图片和第二图片输入所述第一目标检测模型进行训练,获得第二目标检测模型。本发明通过构建包含语义信息的遮挡样板库,有效解决了已有技术存在的遮挡生成质量不高,缺乏完成语义信息等问题。形成第一图像和第二图像的数据对,利用数据对对第一目标检测模型进行训练,提高模型对通用遮挡目标检测的精度。

    一种基于查询自举增强的端到端多目标跟踪方法及相关装置

    公开(公告)号:CN118247312A

    公开(公告)日:2024-06-25

    申请号:CN202410463529.0

    申请日:2024-04-17

    Abstract: 本发明公开了一种基于查询自举增强的端到端多目标跟踪方法及相关装置,方法包括:在不同分辨率尺度下当前帧图像对进行特征提取,得到特征图像;通过特征编码对特征图像进行编码,得到特征编码向量;利用特征编码向量以及前一帧图像的预测结果对可学习的解释查询向量进行增强,得到增强查询向量;将增强查询向量与联合查询向量相加得到最终查询向量;将特征编码向量和最终查询向量通过特征解码得到输出向量;利用跟踪头将输出向量解译为分类及回归结果,得到当前帧图像的预测结果。本发明能够在相对较少增加计算复杂度及参数量的同时多目标跟踪结果上达到了目前最好的效果。

    一种基于激光点云语义信息增强的三维目标检测方法及相关装置

    公开(公告)号:CN116524448A

    公开(公告)日:2023-08-01

    申请号:CN202310514287.9

    申请日:2023-05-08

    Abstract: 本发明公开了一种基于激光点云语义信息增强的三维目标检测方法及相关装置。该方法首先将三维空间划分为若干柱状体素。然后,对每个体素进行特征提取,转化为鸟瞰视角下的伪图片。接着,将伪图片送入区域建议网络进行多尺度深层次特征提取。最后,将多尺度特征图以及原始尺寸特征图分别输入三维语义分割头和三维目标检测头,得到三维语义分割和三维目标检测结果。本发明能够提升三维目标检测的精度,尤其是小目标的精度。本发明能够基本保持已有实时三维目标检测框架的速度。同时,本发明还能够输出三维语义分割结果,提供自动驾驶系统进行进一步环境感知。

    一种深度可分离卷积神经网络加速器架构

    公开(公告)号:CN111898733A

    公开(公告)日:2020-11-06

    申请号:CN202010628683.0

    申请日:2020-07-02

    Abstract: 本发明公开了一种深度可分离卷积神经网络加速器架构,包括:外部存储器,用于存储输入的待处理图片的像素数据和深度可分离卷积神经网络的权重数据;特征图缓存,用于暂存从所述外部存储器读取的待处理图片像素数据以及神经网络计算的特征图结果;权重缓存,用于暂存从所述外部存储器读取的深度可分离卷积神经网络的权重数据;计算引擎模块,用于对从所述特征图缓存与权重缓存分别读取特征图数据与权重数据进行卷积计算;控制配置模块,用于配置所述计算引擎模块的计算模式以及控制所述特征图缓存与权重缓存的读写。本发明优化了深度可分离卷积的计算顺序,在提高并行性的同时减少了访存成本。

Patent Agency Ranking