本发明提供了一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，包括：包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白。