公开(公告)号：CN119516533A

公开(公告)日：2025-02-25

申请号：CN202411312950.8

申请日：2024-09-20

Applicant: 长春理工大学

Inventor： 才华 ,  孙微微 ,  付强 ,  叶柏群 ,  李军龑 ,  韩雨桐

IPC: G06V20/64 ,  G06V10/22 ,  G06V10/26 ,  G06V10/80 ,  G06T7/246 ,  G06T7/277

Abstract: 融合多传感器信息的三维目标检测与跟踪方法，属于计算机视觉技术领域，通过采集相机和雷达图像信息，将相机图像和激光雷达点云融合可以弥补单一模态的缺陷；利用2D+3D数据的多重数据耦合方法来进行多目标跟踪，通过摄像机识别遥远的物体，当物体进入激光雷达感应范围的时候，激光雷达可以进行更精确的定位，使用激光雷达提供的更精确的3D位置来修正目标在2D图像中的位置估计。本发明用来解决复杂道路条件下目标识别不准确、目标遮挡等问题；传统的单一模态的三维目标检测算法不能有效的融合多传感器数据的优势，难以精确的识别远处或者复杂道路条件下的物体。

公开(公告)号：CN119027641A

公开(公告)日：2024-11-26

申请号：CN202411131844.X

申请日：2024-08-19

Applicant: 长春理工大学

Inventor： 才华 ,  冉越 ,  付强 ,  韩雨桐 ,  叶柏群 ,  李军龑

IPC: G06V10/24 ,  G06V10/80 ,  G06V10/766 ,  G06V10/82

Abstract: 基于文本掩码监督图文特征融合的视觉定位方法，属于计算机视觉技术和图像处理技术领域，本发明使用ViT和BERT作为视觉编码器和文本编码器。首先，对输入文本进行两次掩码处理得到两个掩码的文本，掩码得到的扩充文本能够协同全文本一起利用视觉语言对齐模块生成更精细的掩码监督热图。其次，设计文本增强模块，使用带有短语注意力的Bi‑GRU对文本中不同单词进行加权和抑制，使模型更关注与定位目标相关的文本信息，同时降低与定位目标不相关的背景信息的影响。最后，跨模态解码器接收增强的文本特征和掩码监督热图一起在原始图像上做迭代回归预测，有效解决现有视觉定位方法由于无法准确捕捉目标对象细节特征而出现定位歧义的问题。