公开(公告)号：CN117152632A

公开(公告)日：2023-12-01

申请号：CN202311131765.4

申请日：2023-09-04

Applicant: 南京信息工程大学

Inventor： 张晓帆 ,  郑钰辉

IPC: G06V20/13 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于混合注意力和位置编码的遥感图像场景分类方法，通过采用普通卷积网络提取原图像特征信息；然后，针对最后一阶段特征图依次引入通道注意力和空间注意力对特征图进行注意力激发，提取图像局部特征；接着，分别通过6个包含条件位置编码和多头自注意力模块的变换器模块以及3个变换器模块，其中，基于移位窗口设计的自注意力在非重叠的局部窗口中计算自注意力，实现层级特征提取；可以更好地建立长距离全局依赖关系，最后进入平均池化层和全连接层输出最终预测结果。并通过在三个公开遥感场景数据集上的实验证明了它的稳健性、有效性。

公开(公告)号：CN115359288A

公开(公告)日：2022-11-18

申请号：CN202210974701.X

申请日：2022-08-15

Applicant: 南京信息工程大学

Inventor： 张晓帆 ,  郑钰辉

IPC: G06V10/764 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，具体是基于混合注意力机制的跨语义细粒度图像分类方法，采用普通卷积网络提取原图像特征信息；针对最后一阶段和上一阶段特征图同时引入通道注意力和空间注意力对特征图进行注意力激发，将来自L‑1阶段和L阶段的特征图组合以生成合并的特征图；通过全局最大池化或全局平均池化聚合特征图以获得相应的集合特征，来自同一阶段的融合特征被跨类别跨语义正则化相互约束，同时被送到全连接层生成逻辑值；转换为类概率，通过跨层正则化对逻辑进行约束，并组合用于分类。可以很好地解决子类别具有的类间相似度较大和类内相似度较小的问题；既可以考虑到同一类别中不同图像之间的联系，又可以很容易地进行端到端训练。