公开(公告)号：CN115880333A

公开(公告)日：2023-03-31

申请号：CN202211545845.X

申请日：2022-12-05

Applicant: 东北大学

Inventor： 方正 ,  林雨 ,  李智恒 ,  崔宇波 ,  李硕

IPC: G06T7/246 ,  G06V10/74 ,  G06V10/80 ,  G06V10/54 ,  G06V10/762 ,  G06T7/70 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于多模态信息融合的三维单目标跟踪方法，首先实现原始图像和激光点云的空间对齐；其次基于深度学习方法构建双流特征提取网络，并行提取图像与点云的高维语义特征；随后通过自注意力机制加权模态内的重要信息，并利用交叉注意力机制构建不同模态间的语义联系；然后基于语义增强特征计算纹理和几何相似度，并利用注意力机制生成多模态相似度特征；最后采用多层卷积结构预测目标空间位置与朝向。本发明旨在于充分利用多源传感器异构数据的互补优势，并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征，生成更为鲁棒的多模态特征，以精准回归跟踪目标的三维坐标及朝向，提升三维目标跟踪器的鲁棒性、准确性。

公开(公告)号：CN117935217A

公开(公告)日：2024-04-26

申请号：CN202410097059.0

申请日：2024-01-24

Applicant: 东北大学

Inventor： 方正 ,  王佳强 ,  林雨 ,  李智恒 ,  崔宇波

IPC: G06V20/58 ,  G06V20/64 ,  G06V10/62 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/049 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种基于时空序列信息的三维单目标跟踪方法，涉及目标跟踪技术领域。本发明引入一种“序列到序列”的跟踪方式，并提出一个新的跟踪器来捕捉连续帧中的目标运动，该跟踪器结合历史点云和边界框序列，将一系列点云和历史三维框作为输入，执行帧内和帧间特征增强，并获得更新的三维框序列。通过利用历史框中的位置先验来确保鲁棒跟踪，并缓解点云稀疏及遮挡问题对跟踪性能造成的影响，即使是在点云较稀疏的场景中也会表现很好。此外，本发明实现了端到端三维单目标跟踪，且网络结构更简单，效果更好，速度更快，能够更好应对点云稀疏和目标不完整的情况，有利于降低车辆生产成本，以促进自动驾驶产品快速落地，并带来客观的经济效益。

公开(公告)号：CN115909010A

公开(公告)日：2023-04-04

申请号：CN202211569644.3

申请日：2022-12-08

Applicant: 东北大学

Inventor： 方正 ,  李硕 ,  崔宇波 ,  李智恒 ,  林雨

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06V10/80 ,  G06V10/26 ,  G06V10/75 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于区域自注意力机制的三维点云单目标跟踪方法，涉及目标跟踪领域；对输入的模板点云与搜索点云进行坐标变换，将点云序列体素化进行特征提取；使用3D稀疏卷积网络对进行三维提取，通过投影到2D的鸟瞰图，提取鸟瞰图特征；将鸟瞰图特征进行区域分割并作为Transformer的输入，在Transformer编码器中，对每个区域内的点云进行多头自注意力，获得区域内部点云的上下文信息；将每个区域中的点云特征聚合后，使用多头自注意力，获得区域之间的相互关系信息；在Transformer解码器中，通过交叉注意力机制将模板分支中的点云特征融合到搜索分支点云中，使点云特征获得增强；进行跟踪结果预测；以实现鲁棒的跟踪。