公开(公告)号：CN116797522A

公开(公告)日：2023-09-22

申请号：CN202310034945.4

申请日：2023-01-10

Applicant: 杭州电子科技大学

Inventor： 王莉莎 ,  顾人舒 ,  陈德潮 ,  高红依 ,  贾刚勇

IPC: G06T7/00 ,  G06V10/25 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种基于双分支交叉注意力池化的眼前节疾病多标签分类方法，本发明包括以下步骤：(1)对裂隙灯图像进行数据预处理；(2)将图像输入双分支网络，输出token序列和特征图；(3)对特征图、注意力图进行双分支交叉注意力池化，输出疾病类别和区域的结果；(4)利用CNN分支中的注意力图对该分支输入进行注意力引导的数据增强，再次输入主网络；(5)将各个结果和标签进行损失计算来进行监督训练，训练好的模型可用于疾病类别和区域的诊断。本发明通过构建双分支交叉注意力池化模块，解决了多标签图像中对象大小位置不一且部分特征之间的视觉相似性问题，能够基于裂隙灯图像准确地进行疾病类别和区域的多标签分类。