本发明涉及一种基于视觉的运动特征提取方法，具体包括以下步骤：步骤S1：基于连续帧提取每个像素点的运动矢量；步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；步骤S3：以特征点为中心，构建基于运动矢量的方向‑幅值直方图的立方本特征向量；步骤S4：通过聚类算法对局部描述子形成编码向量。该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。