本发明公开了一种基于非对称度量学习的异构行人再识别方法，该方法将不同模态下的深度特征进行非对称度量，步骤是：使用两个不共享参数的稀疏自编码器分别将不同模态深度特征投影到共享空间，同时引入全局约束和局部约束去约束不同模态深度特征间的距离，使不同模态特征间的类内距离减小和类间距离增加；将全局约束和局部约束的约束结果作为监督信号反向传播到训练网络中用于修正各个参数。本发明通过缩小不同模态间模态差距，使网络尽可能地忽略模态信息而更加关注身份信息，从而提高行人特征表达力和行人匹配精确度。