公开(公告)号：CN119370120A

公开(公告)日：2025-01-28

申请号：CN202411406316.0

申请日：2024-10-10

Applicant: 华东师范大学 ,  上海临港华东师大先进技术研究院有限公司

Inventor： 王昊 ,  程纪钧 ,  魏宪 ,  邵东恒

IPC: B60W60/00 ,  G06T3/047 ,  G06V20/58 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  B60W50/00

Abstract: 本发明公开了一种基于环视鱼眼相机的自动驾驶端到端轨迹预测方法，包括：对平面相机图像进行畸变处理，生成环视鱼眼相机的原始图像；采用非时序解码器和时序解码器，通过初始化对象查询和提取原始图像的隐藏特征，将对象查询与历史对象查询、图像特征通过注意力机制进行特征交互，检测当前时刻车辆周围的目标；将检测到目标的对象查询输入到轨迹预测模块进行当前对象查询与历史储存的对象查询进行交互，获取模型历史的预测轨迹和历史信息，然后进行目标之间的交互，最后将对象查询与图像隐藏特征交互，使对象查询获得全局的环境信息；将特征交互后的对象查询输入到多层感知机中，输出获得轨迹预测结果。本发明提高了轨迹预测的性能和速度。

公开(公告)号：CN117173633A

公开(公告)日：2023-12-05

申请号：CN202311203876.1

申请日：2023-09-18

Applicant: 华东师范大学

Inventor： 程纪钧 ,  魏宪 ,  王昊 ,  邵东恒 ,  杨剑 ,  陈铭松 ,  汤璇

IPC: G06V20/52 ,  G06V10/26 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于旋转等变卷积神经网络的行人轨迹预测方法，属于轨迹预测技术领域，包括以下步骤：获取鸟瞰视角下的地面RGB图像和行人历史轨迹数据并进行预处理，获得行人轨迹数据集，将行人轨迹数据集中地面RGB图像输入到语义分割网络中进行语义分割，获得地面语义分割图；基于行人历史轨迹数据获得历史轨迹热力图；基于地面语义分割图和历史轨迹热力图，获得编码特征；将编码特征输入到目标点热力图解码器，输出目标点热力图；将编码特征与目标点热力图进行特征融合，将融合图输入到未来轨迹预测解码器中，获得行人轨迹预测结果。本方法能够实现鸟瞰视角下对行人进行短期、长期多模态未来轨迹预测，并提高模型预测精度和预测鲁棒性。

公开(公告)号：CN117077727A

公开(公告)日：2023-11-17

申请号：CN202311203703.X

申请日：2023-09-18

Applicant: 华东师范大学

Inventor： 柯渴欣 ,  邵东恒 ,  魏宪 ,  刘缨杰 ,  汤璇 ,  陈铭松 ,  段成伟 ,  杨剑

IPC: G06N3/042 ,  G06N3/044 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种基于时空注意力机制和神经常微分方程的轨迹预测方法，包括：获取行人和相邻行人的历史轨迹，将历史轨迹转化为社会特征向量；基于历史轨迹与社会特征向量获取初始潜在变量与外部输入变量；基于初始潜在变量与外部输入变量获取潜在变量；基于循环神经网络与神经常微分方程构建轨迹预测模型，并基于历史轨迹与潜在变量获取行人的预测位移序列；将预测位移序列与历史轨迹的序列相加，获取最终预测结果；基于预测位移序列对轨迹预测模型进行参数优化。本发明综合考虑了场景中行人间的相互影响以及VAE中RNN循环更新隐藏状态是否连续的因素，在轨迹预测时了解行人的交互特征，从而提高行人轨迹预测的准确性。

公开(公告)号：CN114943883B

公开(公告)日：2025-02-28

申请号：CN202210628383.1

申请日：2022-06-06

Applicant: 华东师范大学

Inventor： 陈铭松 ,  费燕虹 ,  魏宪 ,  杨雅宁 ,  王嘉莉

IPC: G06V10/82 ,  G06N3/047 ,  G06N3/084 ,  G06F17/16

Abstract: 本发明公开了一种利用正交视觉转换器提高图像识别准确率的方法，所述方法包括以下具体步骤：步骤一、生成正交视觉转换器中自注意力层所需的查询矩阵、键矩阵和值矩阵；步骤二、基于正交投影矩阵，根据查询矩阵、键矩阵和值矩阵计算自注意力；步骤三、基于正交投影矩阵，将步骤二中的自注意力机制扩展到多头；步骤四、基于正交投影矩阵，训练正交视觉转换器模型；步骤五、利用步骤四中获得的正交视觉转换器模型进行图像识别。本发明还公开了上述方法在提高图像识别预测准确率中的应用。本发明所述的方法能够在图像识别场景中提高传统视觉转换器的推理精度，同时具备一定的鲁棒性。

公开(公告)号：CN117077727B

公开(公告)日：2024-04-09

申请号：CN202311203703.X

申请日：2023-09-18

Applicant: 华东师范大学

Inventor： 柯渴欣 ,  邵东恒 ,  魏宪 ,  刘缨杰 ,  汤璇 ,  陈铭松 ,  段成伟 ,  杨剑

IPC: G06N3/042 ,  G06N3/044 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种基于时空注意力机制和神经常微分方程的轨迹预测方法，包括：获取行人和相邻行人的历史轨迹，将历史轨迹转化为社会特征向量；基于历史轨迹与社会特征向量获取初始潜在变量与外部输入变量；基于初始潜在变量与外部输入变量获取潜在变量；基于循环神经网络与神经常微分方程构建轨迹预测模型，并基于历史轨迹与潜在变量获取行人的预测位移序列；将预测位移序列与历史轨迹的序列相加，获取最终预测结果；基于预测位移序列对轨迹预测模型进行参数优化。本发明综合考虑了场景中行人间的相互影响以及VAE中RNN循环更新隐藏状态是否连续的因素，在轨迹预测时了解行人的交互特征，从而提高行人轨迹预测的准确性。

公开(公告)号：CN114943883A

公开(公告)日：2022-08-26

申请号：CN202210628383.1

申请日：2022-06-06

Applicant: 华东师范大学

Inventor： 陈铭松 ,  费燕虹 ,  魏宪 ,  杨雅宁 ,  王嘉莉

IPC: G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G06F17/16

Abstract: 本发明公开了一种利用正交视觉转换器提高图像识别准确率的方法，所述方法包括以下具体步骤：步骤一、生成正交视觉转换器中自注意力层所需的查询矩阵、键矩阵和值矩阵；步骤二、基于正交投影矩阵，根据查询矩阵、键矩阵和值矩阵计算自注意力；步骤三、基于正交投影矩阵，将步骤二中的自注意力机制扩展到多头；步骤四、基于正交投影矩阵，训练正交视觉转换器模型；步骤五、利用步骤四中获得的正交视觉转换器模型进行图像识别。本发明还公开了上述方法在提高图像识别预测准确率中的应用。本发明所述的方法能够在图像识别场景中提高传统视觉转换器的推理精度，同时具备一定的鲁棒性。