公开(公告)号：CN114067371B

公开(公告)日：2022-09-13

申请号：CN202210052682.5

申请日：2022-01-18

Applicant: 之江实验室

Inventor： 华炜 ,  苏肇鑫 ,  黄刚

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及行人轨迹预测领域，具体涉及一种跨模态行人轨迹生成式预测框架、方法和装置，该框架包括：多模态数据时域特征提取模块对多模态数据提取时域特征，直接传递给基于跨模态Transformer的特征编码模块；所述基于跨模态Transformer的特征编码模块，输入为多模态的时域特征，输出为跨模态的注意力特征，分别传递给条件变分自动编码模块和轨迹预测模块；所述条件变分自动编码模块，输入为跨模态的注意力特征，输出为隐变量，直接传递给轨迹预测模块；所述轨迹预测模块，输入为跨模态的注意力特征和隐变量，输出为预测的轨迹。本发明有效提升了第一人称视角下的行人轨迹预测的准确率。

公开(公告)号：CN114067371A

公开(公告)日：2022-02-18

申请号：CN202210052682.5

申请日：2022-01-18

Applicant: 之江实验室

Inventor： 华炜 ,  苏肇鑫 ,  黄刚

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及行人轨迹预测领域，具体涉及一种跨模态行人轨迹生成式预测框架、方法和装置，该框架包括：多模态数据时域特征提取模块对多模态数据提取时域特征，直接传递给基于跨模态Transformer的特征编码模块；所述基于跨模态Transformer的特征编码模块，输入为多模态的时域特征，输出为跨模态的注意力特征，分别传递给条件变分自动编码模块和轨迹预测模块；所述条件变分自动编码模块，输入为跨模态的注意力特征，输出为隐变量，直接传递给轨迹预测模块；所述轨迹预测模块，输入为跨模态的注意力特征和隐变量，输出为预测的轨迹。本发明有效提升了第一人称视角下的行人轨迹预测的准确率。