本发明公开了一种端子与线缆的连接关系判别方法及系统，方法包括：在端子排的实物照片中，标注每个互相连接的端子和线缆所在区域的关键点，用关键点训练姿态识别模型；使用姿态识别模型对待判别的端子排实物照片进行检测，得到每个互相连接的端子与线缆的关键点坐标，同时使用文字识别模型对待判别的端子排实物照片进行检测，得到每个端子号文字与线缆文字的文字内容和区域顶点坐标；将端子的关键点坐标与端子号文字的区域顶点坐标进行匹配，并将线缆的关键点坐标与线缆文字的区域顶点坐标进行匹配，得到每个互相连接的端子和线缆对应的文字内容。本发明解决了端子线缆连接关系判别困难的问题，提高了电气设备巡检的准确性和效率。