公开(公告)号：CN119027674B

公开(公告)日：2025-04-22

申请号：CN202411514270.4

申请日：2024-10-29

Applicant: 南京信息工程大学

Inventor： 郑钰辉 ,  姜景杰 ,  张国庆

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于补丁语义亲和力增强的CAM优化方法，包括：提取多头自注意力权重；使用头平均操作去除冗余信息，再通过全局平均池化聚合每个注意力图的全局特征，并将聚合的特征向量输入多层感知机中进行相互作用，获得考虑了不同层注意力重要性的增强注意力图；进行平均操作融合后除去注意力中类令牌对应维度，剩下的权重作为增强后的补丁语义亲和力矩阵；输出的补丁令牌生成CAM，利用语义亲和力捕捉更多空间关系和细粒度信息的能力，将补丁语义亲和力矩阵与CAM作矩阵相乘完成优化。本发明在无需额外计算的情况下获取包含语义亲和力信息的注意力权重矩阵，并通过头平均注意力融合模块对注意力权重矩阵进行融合增强。

公开(公告)号：CN119027674A

公开(公告)日：2024-11-26

申请号：CN202411514270.4

申请日：2024-10-29

Applicant: 南京信息工程大学

Inventor： 郑钰辉 ,  姜景杰 ,  张国庆

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于补丁语义亲和力增强的CAM优化方法，包括：提取多头自注意力权重；使用头平均操作去除冗余信息，再通过全局平均池化聚合每个注意力图的全局特征，并将聚合的特征向量输入多层感知机中进行相互作用，获得考虑了不同层注意力重要性的增强注意力图；进行平均操作融合后除去注意力中类令牌对应维度，剩下的权重作为增强后的补丁语义亲和力矩阵；输出的补丁令牌生成CAM，利用语义亲和力捕捉更多空间关系和细粒度信息的能力，将补丁语义亲和力矩阵与CAM作矩阵相乘完成优化。本发明在无需额外计算的情况下获取包含语义亲和力信息的注意力权重矩阵，并通过头平均注意力融合模块对注意力权重矩阵进行融合增强。