本发明公开了一种基于深度学习的舌象识别方法，包括如下步骤：采集若干张舌象图像作为训练图像；对所有训练图像进行尺寸归一化处理和RGB三通道数据归一化处理，得到若干个训练样本；构建舌象识别卷积神经网络模型，并将获得的训练样本作为输入，对舌象识别卷积神经网络模型进行训练；拍摄待测的舌象图像，对待测的舌象图像进行尺寸归一化处理和RGB三通道数据归一化处理，得到测试样本；将测试样本输入经过训练后的舌象识别卷积神经网络模型中，进行舌象图像的自动识别。本方案通过基于深度学习的神经网络模型对舌象图像进行合格性的分析和判断，不仅提高了中医舌诊图像的质量，而且通过深入挖掘舌象的高阶特征，进一步提升了舌体识别的准确度。