公开(公告)号：CN118299007A

公开(公告)日：2024-07-05

申请号：CN202410448414.4

申请日：2024-04-15

Applicant: 浙江大学

Inventor： 康玉 ,  熊启松 ,  黄笑羚

IPC: G16H30/20 ,  G16H10/20 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多模态融合的青光眼图像检测方法。首先，充分利用已有数据库中患者的VF‑OCT‑CFP三模态配对数据集，将每个模态图像作为特征提取网络的单个输入，然后通过构建三个独立的特征提取模块对输入模型的各模态信息进行信息特征提取，特征提取模块中集成了基于位置敏感性注意力机制和域泛化技术用来提高模型的学习能力和通用性，最后将各个网络的输出通过多模态注意力机制集成，再利用分类模块以获取最终的分类结果。通过在不同的图像数据集上进行全面的实验，证明了本发明相较于已有单一模态深度学习网络具有显著优势，并且表现出优于人类眼科专家的诊断准确率和效率。