公开(公告)号：CN118736577A

公开(公告)日：2024-10-01

申请号：CN202410822208.5

申请日：2024-06-25

Applicant: 中北大学

Inventor： 蔺素珍 ,  贺姗 ,  晋赞霞

IPC: G06V20/70 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/0499 ,  G06N3/0442 ,  G06N3/0895

Abstract: 本发明涉及图像描述方法和图像融合方法，尤其涉及多波段图像描述生成方法，具体为基于自监督学习和特征解耦的多波段图像描述生成方法。提取红外和可见光图像粗粒度融合特征的基础上，首先，利用所构建的特征解耦模块，基于两个结构相同的行、列级注意力机制解耦该两波段图像的不同粒度特征；然后，利用所构建的特征交叉融合模块，将解耦所得的不同粒度特征在多个特征子空间中进行融合增强，得到细粒度的融合特征图；最后，将融合好的特征输入到注意力机制增强的语言模型中进行解码生成描述，可用于安防监控和军事侦察等复杂场景理解。

公开(公告)号：CN118736576A

公开(公告)日：2024-10-01

申请号：CN202410822066.2

申请日：2024-06-25

Applicant: 中北大学

Inventor： 蔺素珍 ,  贺姗 ,  晋赞霞

IPC: G06V20/70 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/092 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明涉及图像描述方法和图像融合方法，尤其涉及多波段图像自动描述方法，具体为基于内存增强和软掩膜的多波段图像自动描述方法。将可见光图像特征、红外图像特征以及文本特征置于同一表征层级，在传统Transformer的基础上，构建内存增强模块用于存储多波段图像特征间的内在相关性以及语言上下文信息；同时，利用软掩膜机制筛选有效的视觉特征向量以及内存中存储的特征向量，以确保模型精确聚焦于关键视觉信息或语言上下文信息，可用于安防监控和军事侦察等复杂场景理解。

公开(公告)号：CN119693749A

公开(公告)日：2025-03-25

申请号：CN202411746178.0

申请日：2024-12-02

Applicant: 中北大学

Inventor： 蔺素珍 ,  顾梦瑶 ,  晋赞霞 ,  李大威

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 针对复杂背景下仅靠可见光图像难以提取有效特征、易受周围环境、干扰物影响等难题，本发明提出一种基于特征对齐融合的双波段图像描述生成方法。本发明网络模型首先将输入的可见区域和红外网格特征传入融合位置注意模块和FFN分别获得融合位置特征；然后，利用混合交叉模块将融合位置特征进行注意力计算，输出的特征中包含不同波段的信息；最后，通过传统Transformer的解码器模块和自适应模块输出该图像对的文本描述，以实现复杂背景下的图像描述。本发明可对复杂场景（例如目标被遮挡、昏暗环境、雨雾等特殊场景）进行全面、准确的描述。

公开(公告)号：CN119691552A

公开(公告)日：2025-03-25

申请号：CN202411756681.4

申请日：2024-12-03

Applicant: 中北大学

Inventor： 蔺素珍 ,  李烽源 ,  晋赞霞 ,  李大威

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/21 ,  G06N3/045 ,  G06N3/084

Abstract: 针对现有的多模态情感分析在处理多模态数据时忽视不同模态的共有特征和独有特征联系的问题，本发明提出了一种基于特征解耦和图注意力网络的多模态情感分析方法。通本发明网络模型输入文、视觉、语音三种模态的信息，首先，利用预训练之后的不同模型作为特征提取器；然后过对比学习，将每种模态的特征分解为模态独有特征和模态间共有特征，实现特征向量的有效解耦，从而促进融合模型对情感信息的有效学习；接着，利用解耦后的特征构建静态图，并采用图注意力网络学习多模态情感特征；最后，通过线性层对融合特征进行分类，以预测情感标签。