本发明涉及一种多模态图像合成的深度学习神经网络模型系统，包括由残差深度神经网络(RDNN)与多分辨率优化策略相结合形成的多分辨率残差深度神经网络；RDNN包括A个卷积层，B个脱落层,C个批归一化(Batch Normalization)层和D个长期残差连接；其中，卷积层用于图像特征的提取；脱落层用于避免网络过拟合；批归一化层用于对对应卷积核的输入进行标准化；长期残差连接用于保留输入图像中的结构信息；每个脱落层的两侧均设置有卷积层，每个脱落层与两侧相邻的卷积层均连接；每个脱落层和批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；每个长期残差连接的一端连接在卷积层与批归一化层之间；另一端连接在另一组卷积层与批归一化层之间。