一种基于多模态特征融合与聚类的低照度场景解析方法

    公开(公告)号:CN119380057A

    公开(公告)日:2025-01-28

    申请号:CN202411351909.1

    申请日:2024-09-26

    Abstract: 本发明公开了一种基于多模态特征融合与聚类的低照度场景解析方法,属于人工智能技术,构建了基于Transformer的单分支的特征提取网络;构建多模态特征交互融合模块实现多模态特征交互与融合;构建多模态融合特征聚类模块对多模态交互融合后的特征进行特征聚类,利用不同特征之间的语义距离和空间距离完成聚类的同时实现对特征的下采样,缓解了结构化下采样中细节边缘信息丢失的问题;构建多尺度特征聚合解码模块,用于接收编码网络特征信息,并根据多尺度特征的语义距离划分每个特征像素的类别。本发明能够充分可见光与热图像信息,能够在多样复杂低照度场景下的无人系统场景解析以及导航中应用。

Patent Agency Ranking