本发明公开了一种基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，包括以下步骤：1)利用多层卷积神经网络提取缺陷图像的局部网格特征和整幅图像特征，进行图像编码；2)构建网格特征交互图，对缺陷图像的网格视觉特征和全局图像特征进行融合编码；3)通过图注意力网络更新优化全局和局部特征，充分利用改进的视觉特征进行缺陷描述。本发明构建网格特征交互图，并利用图注意力网络更新节点信息，将特征提取任务作为图节点分类任务实现，不会增加计算开销，同时提高了性能。本发明可以捕捉缺陷图像的全局图像信息，并捕获局部网格特征的潜在交互，加深了对缺陷图像内容的理解，生成的描述文本能够准确并连贯地描述缺陷信息。