一种Transformer模型及其改进方法
    1.
    发明公开

    公开(公告)号:CN117744711A

    公开(公告)日:2024-03-22

    申请号:CN202311855513.6

    申请日:2023-12-29

    Abstract: 本发明公开了一种Transformer模型,包括输入层、Transformer网络模型和SoftMax分类器,所述输入层的输出端与Transformer网络模型的输入端连接,所述Transformer网络模型的输出端与SoftMax分类器的输入端连接;所述输入层用于将原始的航迹数据输入后开始进行预处理,所述Transformer网络模型包括位置编码模块、多头注意力机制、1层前馈网络层、2层残差连接与层归一化,所述SoftMax分类器用于对Transformer网络模型预测的归属可能性进行分类输出。本发明通过针对航迹数据关联中在空间和时间上的关系,利用Transformer中的自注意力机制对航迹信息的空间特征做相似度关联,同时添加位置编码,保证航迹信息的时序信息不会丢失,可以参与到特征提取当中。

Patent Agency Ranking