本申请提出一种装载机作业行为的分析方法及其装置，涉及煤炭技术领域，通过基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息对装载机的当前作业行为状态进行分类，实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改。