本发明提供了一种基于深度学习的吊钩和钢包吊耳匹配方法，包括如下步骤：S1、利用摄像机拍摄起重机吊钩和钢包吊耳的图像；S2、利用RetinaNet检测步骤S1所述图像中的吊钩和吊耳；S3、利用摄像头标定技术，对S2中检测出的吊钩和吊耳建立三维坐标系；S4、通过S3中得到的坐标系，计算吊钩和吊耳在水平方向和竖直方向上的坐标差，调整吊钩的位置，使吊钩与吊耳接触；S5、通过传感器采集到的信息，计算吊钩旋转角度，通过计算吊钩的质心与吊耳的质心在水平方向上的距离Δx，Δx小于预定阈值时，为可靠匹配，否则为不可靠的匹配，匹配不可靠时，不断调整吊钩位置，使Δx小于预定阈值。其解决了现有技术中存在的吊钩和吊耳匹配不牢固，导致钢包倾翻等问题。