本发明公开的一种基于动作识别技术的云台控制方法及系统，其中方法包括如下步骤：步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表；步骤S200、将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；步骤S300、云台接收云台控制指令，根据云台控制指令控制云台进行相应操作。本发明提供的基于动作识别技术的云台控制方法及系统可以利用操作者肢体动作实现智能控制云台。