公开(公告)号：CN115423847A

公开(公告)日：2022-12-02

申请号：CN202211376018.2

申请日：2022-11-04

Applicant: 华东交通大学

Inventor： 王辉 ,  韩星宇 ,  范自柱 ,  杨辉

IPC: G06T7/246 ,  G06V10/75 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提出一种基于Transformer的孪生多模态目标跟踪方法，获取场景中的RGB图像信息和热力图像信息；通过预训练的ResNet网络提取不同模态的高级特征，同时基于孪生网络的跨模态特征融合网络以获得不同模态的共同特征；然后将对应模态的高级特征输入到针对多模态设计的Transformer模块中进行跨模态信息融合，再输入到基于全连接卷积神经网络的回归网络中进行最终检测框的回归，在此过程中产生的误差将会反向传播到前序各个网络中，根据最终权重网络构建目标跟踪网络，以对多模态情况下的目标进行跟踪。本发明可准确预测物体在各模态的位置信息，提高目标跟踪与定位准确度，可广泛应用于多种场景。

公开(公告)号：CN116246102A

公开(公告)日：2023-06-09

申请号：CN202310070830.0

申请日：2023-02-07

Applicant: 华东交通大学

Inventor： 黄祎婧 ,  王辉 ,  黄宇廷 ,  韩星宇 ,  曹学儒 ,  范自柱

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 一种基于自编码器与决策树的图像分类方法与系统，该方法包括：采集图像样本数据，转换图像样本为像素信息矩阵/向量；利用自编码器网络模型，学习图像样本的表征信息，使用编码器压缩并提取图像样本的低维特征信息；在迭代求解自编码器网络最优权重参数的过程中更新每个样本对应的最近邻数值；基于训练好的自编码器网络模型中提取的低维样本特征信息，结合迭代获取的样本最近邻数值作为对应的样本标签构建决策树模型；利用自编码器获得新样本的低维特征信息并输入决策树获得最近邻数值，在训练集中寻找最近邻领域，将最近邻领域中数量最多的类别作为预测结果。本发明可以得到目标的低维特征信息，并预测样本的类别，预测结果具有可解释性。

公开(公告)号：CN115423847B

公开(公告)日：2023-02-07

申请号：CN202211376018.2

申请日：2022-11-04

Applicant: 华东交通大学

Inventor： 王辉 ,  韩星宇 ,  范自柱 ,  杨辉

IPC: G06T7/246 ,  G06V10/75 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提出一种基于Transformer的孪生多模态目标跟踪方法，获取场景中的RGB图像信息和热力图像信息；通过预训练的ResNet网络提取不同模态的高级特征，同时基于孪生网络的跨模态特征融合网络以获得不同模态的共同特征；然后将对应模态的高级特征输入到针对多模态设计的Transformer模块中进行跨模态信息融合，再输入到基于全连接卷积神经网络的回归网络中进行最终检测框的回归，在此过程中产生的误差将会反向传播到前序各个网络中，根据最终权重网络构建目标跟踪网络，以对多模态情况下的目标进行跟踪。本发明可准确预测物体在各模态的位置信息，提高目标跟踪与定位准确度，可广泛应用于多种场景。

公开(公告)号：CN115376089A

公开(公告)日：2022-11-22

申请号：CN202211059289.5

申请日：2022-08-30

Applicant: 华东交通大学

Inventor： 郭心悦 ,  黄祎婧 ,  韩星宇 ,  范自柱

IPC: G06V20/56 ,  G06N3/04 ,  G06N3/08 ,  G06V10/44 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 一种基于深度学习的车道线检测方法，所述方法包括，（1）对数据集中已有的图片样本进行多尺度图像增强操作，再根据标注的车道线位置信息和图像生成训练样本；（2）根据生成的图像构建适用的卷积神经网络；（3）利用生成的车道线图像进行训练；（4）对该卷积神经网络的性能进行评估；（5）使用训练好的模型进行车道线检测。该方法克服了车道检测存在的困难，能够在车道线破损、遮挡、阴影情况下有效检测直道及弯道，为智能驾驶提供技术支持。本方法与其它检测方法相比，该方法检测速度快，车道线识别的准确率高，误检率和漏检率低，适用于各种场景的车道线检测。