本发明提供一种基于多模态深度学习的作物营养状态诊断方法和系统，涉及作物营养状态诊断技术领域。本发明实施例设计了一种多模态特征交互的多头注意力神经网络层，使得各模态信息，例如图片、文本和土壤养分信息实现相互融合，增强了多模态特征的互补性和一致性；为了进一步挖掘作物营养状态诊断过程中各个模态对结果的影响程度，还在LSTM网络的基础上进行改进，创新出一种模态门以自适应赋予每种模态不同的权重。多模态交互注意力机制和增加模态门的LSTM网络的模型设计，不仅实现作物生育期各模态的有机交互，而且自适应的赋予各模态不同的权重，控制每种目标模态的输出，实现作物营养状态的及时、精准、智能诊断，为大规模肥料个性化定制奠定基础。