本发明公开一种基于局部特征的车载远红外行人检测系统及方法，经过局部自适应阈值分割和形态学处理从红外图像中搜索候选区域；构建三级级联分类器对候选区域进行分类，第一级自适应或固定方式定位行人头部，依据头部与邻近背景的亮度差异进行行人分类，第二级提取行人躯干，根据行人躯干与背景热源的灰度分布差异进行行人分类，第三级融合方向梯度直方图和局部二值模式特征，通过三分支结构的支持向量机实现行人分类；进一步，通过多帧校验筛选级联分类结果，将筛选结果与候选区域进行最近邻匹配，填补漏检行人。系统包括：候选区域选取模块、分类器离线训练模块、级联分类模块、多帧校验与近邻匹配模块。本发明能够兼顾检测准确率和检测速度。