本发明属于红外图像处理及机器视觉应用领域，提供了一种基于物理模型约束的红外成像虚警源分类方法，实现物理特性与图像特征对虚警源的协同建模与表征，满足对地探测中对虚警源的抑制及智能化目标识别的要求。主要方案包括：红外虚警源特性分析，虚警源数据的样本集构建；对正演模拟仿真数据处理，提取物理特性参数表征特征；对传感器采集到的红外图像采用多向旋转结构算子提取虚警源的几何特征，采用局部纹理谱特征描述子(LTMV、局部纹理空间特征矩阵)提取虚警源的纹理特征；将训练集数据提取特征获得的几何特征、纹理特征及物理特征进行特征融合，得到综合特征向量并用于分类器训练；最后，利用测试集数据实现虚警源分类。