本发明公开了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，通过摄像头拍摄操作人员，识别摄像头视场中操作人员的人体关节点，并识别摄像头视场中操作人员的人体姿态和手势姿态，计算出操作人员眼睛距离地面的高度、身高、上臂臂长、手部距离地面的高度等数据，并根据该数据确定操作人员的眼睛通过手部观看到大屏幕上的坐标位置，大屏幕控制器根据大屏幕上的坐标位置和大屏幕的布局信息，依据操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息。使用该方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。