本发明公开了一种基于局部交叉时空信息与卷积神经网络的视频人群计数方法，属于基于视频的人群计数领域。所述方法包括：A、特征提取模块，通过将一对邻接视频帧输入到特征提取模块来获得多尺度特征；B、局部交叉关系模块，通过建模相邻视频帧之间像素的局部依赖关系来增强视频帧的特征表示；C、解码模块，在多个尺度上集成局部交叉信息模块，并生成多尺度的人群密度图。本发明提供的基于局部交叉关系的视频人群计数方法不仅提出了一种提取相邻视频帧间时空关系的技术，还解决了相邻视频帧间时空关系的融合问题，同时，本方法利用视频的上下帧时空关系，以从粗到细的粒度对网络中的上下帧特征进行增强，提高了视频人群计数方法的精度。