基于特征对齐融合的双波段图像描述生成方法

    公开(公告)号:CN119693749A

    公开(公告)日:2025-03-25

    申请号:CN202411746178.0

    申请日:2024-12-02

    Applicant: 中北大学

    Abstract: 针对复杂背景下仅靠可见光图像难以提取有效特征、易受周围环境、干扰物影响等难题,本发明提出一种基于特征对齐融合的双波段图像描述生成方法。本发明网络模型首先将输入的可见区域和红外网格特征传入融合位置注意模块和FFN分别获得融合位置特征;然后,利用混合交叉模块将融合位置特征进行注意力计算,输出的特征中包含不同波段的信息;最后,通过传统Transformer的解码器模块和自适应模块输出该图像对的文本描述,以实现复杂背景下的图像描述。本发明可对复杂场景(例如目标被遮挡、昏暗环境、雨雾等特殊场景)进行全面、准确的描述。

Patent Agency Ranking