公开(公告)号：CN117671324A

公开(公告)日：2024-03-08

申请号：CN202311418696.5

申请日：2023-10-30

Applicant: 南京邮电大学

Inventor： 陈松乐 ,  黄茹玥 ,  吴雨欣 ,  孙红波 ,  尚磊

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/774 ,  G06V10/74 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明公开了一种基于Transformer的三维模型视图选择方法，包括如下步骤：首先采用CNN网络提取待测对象的多视图特征信息，获得多视图局部特征token序列，并对其进行位置编码。之后将其输入至Transformer编码器进行特征编码，获得初始全局视图特征。然后利用最优视图选择模块将初始全局特征序列通过注意力得分矩阵选择最优视图特征。最后将最优视图特征与全局分类token拼接一同输入Transformer层得到基于最优视图的全局分类token，将其输入分类器获得最终分类概率。在训练阶段使用动态掩码策略随机丢弃视图特征，增大模型学习难度，提高模型泛化能力，使用对比学习方法最大化相同类别分类的相似度。本发明利用三维模型类别的语义信息选择最优视图，适合三维数据集的高效浏览。

公开(公告)号：CN116229041A

公开(公告)日：2023-06-06

申请号：CN202310115341.2

申请日：2023-02-14

Applicant: 南京邮电大学

Inventor： 陈松乐 ,  曹泽 ,  吴雨欣 ,  黄茹玥 ,  孙红波 ,  尚磊

IPC: G06V10/22 ,  G06K7/14 ,  G06V10/82 ,  G06V10/24 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/0499

Abstract: 本发明公开了一种基于Swin‑Transformer和Detr的快递面单识别方法，包括：通过Swin‑Transformer来提取快递面单图像的特征图；通过Detr目标检测算法对快递面单条形码区域进行检测，根据类别是否为条形码以及包围框定位到快递面单条形码区域；对定位到的快递面单条形码区域进行校正，得到修正后的条形码；对修正后的条形码进行解码，最终得到快递面单的条形码解码结果。本发明结合了Swin‑Transformer特征提取与Detr目标检测算法，能够有效地提高快递面单的识别精度。

公开(公告)号：CN116630917A

公开(公告)日：2023-08-22

申请号：CN202310504571.8

申请日：2023-05-06

Applicant: 南京邮电大学

Inventor： 张锋威 ,  尚磊 ,  陈松乐 ,  孙红波 ,  黄茹玥 ,  吴雨欣

IPC: G06V20/56 ,  G06V10/25 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种车道线检测方法，包括以下步骤：对收集的车道线检测数据集使用可旋转的边界框进行标签标注；通过改进的Swin‑Transformer算法得到特征图；将所述的特征图基于特征融合网络处理得到融合的特征图；将融合后的特征图输入检测头进行检测；利用基于圆形平滑标签改进后的预测框输出最后的预测结果，通过贝塞尔曲线多项式拟合车道线。本发明能够更好突显出目标的角度信息和特征信息，从而更准确地框定车道线的位置和形状，具有更高的检测速度和识别精度，可以更好帮助车辆感知路面轨道信息，具有较好的实际可行性。

公开(公告)号：CN117727022A

公开(公告)日：2024-03-19

申请号：CN202311458127.3

申请日：2023-11-05

Applicant: 南京邮电大学

Inventor： 陈松乐 ,  吴雨欣 ,  黄茹玥 ,  尚磊 ,  孙红波

IPC: G06V20/64 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/048 ,  G06N3/047 ,  G06N3/084

Abstract: 本发明公开了一种基于Transformer稀疏编解码的三维点云目标检测方法，包括如下步骤：对点云数据进行数据增强、弹性变形、随机裁剪，获取预处理后的点云数据；采用U‑Net网络作为骨干网络，对三维点云数据进行特征提取，形成三层不同层级的稀疏Feature map；对每一层Feature map分别嵌入对应大小的位置编码和占位编码，将其输入到Transformer模型中；Transformer模型中的编码器对稀疏的特征图，通过多尺度可形变的注意力机制进行融合处理；对融合后的稀疏特征图首先生成查询向量，然后进行自注意力编码，接着进行多尺度可形变的注意力机制，最后，通过预测头预测出三维bounding box及类别，得到三维点云目标检测模型。本发明将Transformer应用于三维领域，结合三维点云的稀疏性，实现三维目标检测。