一种关键点热力图引导的自监督单目视觉里程计方法

    公开(公告)号:CN114663509B

    公开(公告)日:2022-09-27

    申请号:CN202210290488.0

    申请日:2022-03-23

    Abstract: 本发明提供一种关键点热力图引导的自监督单目视觉里程计方法,属于计算机视觉领域。所述方法包括:构建位姿估计网络与深度估计网络;将视频图像序列输入位姿估计网络与深度估计网络;提取视频图像序列中每帧图像的关键点并生成关键点热力图;将位姿估计网络输出的每对相邻帧图像之间的位姿相乘得到较长时段的位姿,并基于深度估计网络输出的深度图像以及生成的关键点热力图,计算视频图像序列位姿一致性约束的光度误差损失函数;基于得到的光度误差损失函数,训练所述位姿估计网络与深度估计网络;利用训练好的位姿估计网络估计待估计位姿的视频图像序列中每帧图像对应的相机位姿。采用本发明,能够提高相机位姿估计的精度。

    一种关键点热力图引导的自监督单目视觉里程计方法

    公开(公告)号:CN114663509A

    公开(公告)日:2022-06-24

    申请号:CN202210290488.0

    申请日:2022-03-23

    Abstract: 本发明提供一种关键点热力图引导的自监督单目视觉里程计方法,属于计算机视觉领域。所述方法包括:构建位姿估计网络与深度估计网络;将视频图像序列输入位姿估计网络与深度估计网络;提取视频图像序列中每帧图像的关键点并生成关键点热力图;将位姿估计网络输出的每对相邻帧图像之间的位姿相乘得到较长时段的位姿,并基于深度估计网络输出的深度图像以及生成的关键点热力图,计算视频图像序列位姿一致性约束的光度误差损失函数;基于得到的光度误差损失函数,训练所述位姿估计网络与深度估计网络;利用训练好的位姿估计网络估计待估计位姿的视频图像序列中每帧图像对应的相机位姿。采用本发明,能够提高相机位姿估计的精度。

    一种基于交叉注意力网络的回环检测方法

    公开(公告)号:CN115631319B

    公开(公告)日:2023-06-23

    申请号:CN202211361582.7

    申请日:2022-11-02

    Abstract: 本发明提供一种基于交叉注意力网络的回环检测方法,属于计算机视觉技术领域。所述方法包括:对激光雷达原始三维点云数据进行预处理,获得对应的球面投影图,即训练帧;构建基于自注意力机制和交叉注意力机制的重叠度估计网络;利用得到的训练帧,训练所述重叠度估计网络;利用训练好的重叠度估计网络估计每对扫描对之间的重叠度,扫描对为两帧激光雷达的球面投影图,选取重叠度估计值高于阈值的扫描对作为回环检测候选对象,对于当前帧,选择重叠度估计值最大的候选者作为回环匹配帧,且判定该回环匹配帧位置为回环检测结果。采用本发明,能够提高回环检测或地点识别中的准确率和召回率。

    一种基于交叉注意力网络的回环检测方法

    公开(公告)号:CN115631319A

    公开(公告)日:2023-01-20

    申请号:CN202211361582.7

    申请日:2022-11-02

    Abstract: 本发明提供一种基于交叉注意力网络的回环检测方法,属于计算机视觉技术领域。所述方法包括:对激光雷达原始三维点云数据进行预处理,获得对应的球面投影图,即训练帧;构建基于自注意力机制和交叉注意力机制的重叠度估计网络;利用得到的训练帧,训练所述重叠度估计网络;利用训练好的重叠度估计网络估计每对扫描对之间的重叠度,扫描对为两帧激光雷达的球面投影图,选取重叠度估计值高于阈值的扫描对作为回环检测候选对象,对于当前帧,选择重叠度估计值最大的候选者作为回环匹配帧,且判定该回环匹配帧位置为回环检测结果。采用本发明,能够提高回环检测或地点识别中的准确率和召回率。

    一种基于卡尔曼位姿估计网络的单目视觉里程计方法

    公开(公告)号:CN114663496A

    公开(公告)日:2022-06-24

    申请号:CN202210290482.3

    申请日:2022-03-23

    Abstract: 本发明提供一种基于卡尔曼位姿估计网络的单目视觉里程计方法,属于计算机视觉技术领域。所述方法包括:构建深度估计网络和基于卡尔曼滤波的位姿估计网络;根据位姿估计网络输出的每对相邻帧图像之间的位姿变换以及深度估计网络输出的输入帧的深度图像,计算视频图像序列基于运动加权的光度误差损失函数;在构建的位姿估计网络与深度估计网络中,引入变分自动编码器结构,计算变分自动编码器损失函数;基于得到的光度误差损失函数和变分自动编码器损失函数,采取针对帧缺失情况的训练策略训练位姿估计网络与深度估计网络;利用训练好的位姿估计网络估计每帧图像对应的相机位姿。采用本发明,能够提高相机位姿估计的精度并适应帧缺失的情况。

    一种基于卡尔曼位姿估计网络的单目视觉里程计方法

    公开(公告)号:CN114663496B

    公开(公告)日:2022-10-18

    申请号:CN202210290482.3

    申请日:2022-03-23

    Abstract: 本发明提供一种基于卡尔曼位姿估计网络的单目视觉里程计方法,属于计算机视觉技术领域。所述方法包括:构建深度估计网络和基于卡尔曼滤波的位姿估计网络;根据位姿估计网络输出的每对相邻帧图像之间的位姿变换以及深度估计网络输出的输入帧的深度图像,计算视频图像序列基于运动加权的光度误差损失函数;在构建的位姿估计网络与深度估计网络中,引入变分自动编码器结构,计算变分自动编码器损失函数;基于得到的光度误差损失函数和变分自动编码器损失函数,采取针对帧缺失情况的训练策略训练位姿估计网络与深度估计网络;利用训练好的位姿估计网络估计每帧图像对应的相机位姿。采用本发明,能够提高相机位姿估计的精度并适应帧缺失的情况。

    一种双重模态增强机制的RGB-T跟踪方法及装置

    公开(公告)号:CN119169048A

    公开(公告)日:2024-12-20

    申请号:CN202411058651.6

    申请日:2024-08-02

    Abstract: 本发明涉及多模态学习技术领域,特别是指一种双重模态增强机制的RGB‑T跟踪方法及装置,方法包括:构建初始多模态目标跟踪模型,初始多模态目标跟踪模型包括两个并行的ViT骨干网络、初始红外感知适配器、初始跨模态融合适配器、RGB预测头、红外预测头以及响应图解耦蒸馏响应模块;根据训练样本以及预设的损失函数,对初始多模态目标跟踪模型进行训练优化,得到训练好的多模态目标跟踪模型,包括Transformer骨干网络、红外感知适配器、跨模态融合适配器、RGB预测头以及红外预测头;获取待识别数据,将待识别RGB图像以及待识别红外图像输入到多模态目标跟踪模型,得到待识别数据对应的跟踪结果。采用本发明,可以提高目标跟踪的精准度。

    一种基于大模型引导的图像分割方法

    公开(公告)号:CN118298169A

    公开(公告)日:2024-07-05

    申请号:CN202410236797.9

    申请日:2024-03-01

    Abstract: 本发明公开了一种基于大模型引导的图像分割方法,属于图像处理与计算机视觉技术领域,该方法包括:构建大模型引导分割网络模型;其中,大模型引导分割网络模型包括大模型优化模块和多任务图像处理模块;大模型优化模块用于对输入图像进行分割与过滤,得到接近真实场景标签的分割掩码,作为引导信息;多任务图像处理模块用于提取输入图像的特征图,并融合所述引导信息,实现图像分割;采用预设类型的图像集对构建的大模型引导分割网络模型进行训练;利用训练好的大模型引导分割网络模型得到待分割图像的图像分割结果。采用本发明的方案,可使模型能够利用大模型的良好分割结果进行引导;同时减少模型对数据标签的依赖,从而增强模型的泛化性能。

    一种基于扩散模型的时序动作定位方法

    公开(公告)号:CN118279786A

    公开(公告)日:2024-07-02

    申请号:CN202410229845.1

    申请日:2024-02-29

    Abstract: 本发明涉及计算机视觉技术领域,特别是指一种基于扩散模型的时序动作定位方法,方法包括:获取待处理的视频数据;将视频数据输入到时序特征提取器,得到视频数据的特征;将特征输入到构建好的多尺度的时序表征感知TRP编码器,得到视频特征的长期依赖时序特征信息;将长期依赖时序特征信息输入到训练好的扩散检测器模型,得到视频数据的时序动作定位结果。本发明设计了一种渐进且细化方法,使得精确的边界定位成为可行。并引入了一种时序建模方法,通过强化时序建模来捕捉特征的时序演变信息和长期依赖信息,从而进一步提升动作定位的准确性。

    一种基于深度信息传播的通用深度图补全方法及装置

    公开(公告)号:CN117953029A

    公开(公告)日:2024-04-30

    申请号:CN202410356521.4

    申请日:2024-03-27

    Abstract: 本发明涉及图像增强技术领域,特别是指一种基于深度信息传播的通用深度图补全方法及装置。基于深度信息传播的通用深度图补全方法包括:使用深度传感器对场景进行数据采集,获得稀疏深度图;使用彩色相机对场景进行数据采集,获得RGB图;采用预填充方法,对稀疏深度图进行深度填充,获得稠密深度图;将稀疏深度图、RGB图和稠密深度图,输入ResUNeT网络进行特征提取,获得亲和力图;根据稠密深度图以及亲和力图进行迭代传播,获得补全深度图。本发明是一种克服深度传感器分辨率不足的补全精度高、推理速度快的深度图补全方法。

Patent Agency Ranking