本发明涉及图像处理技术领域，具体涉及一种用于虚拟现实的胸外科手术动作捕捉方法，包括：根据每个区域内像素点的灰度分布、每个区域内每个像素点的邻域范围内的像素点灰度差异，得到每个区域的干扰特征值，根据每个区域的干扰特征值从所有区域中筛选出若干个干扰侧重区域；根据每个区域的干扰特征值、不同帧的胸外科手术图像中每个区域内相同位置的像素点之间灰度差异，对胸外科手术图像进行角点检测，得到胸外科手术图像中的所有角点；根据胸外科手术图像中的所有角点通过神经网络对胸外科手术动作进行捕捉。本发明提高了角点检测结果的准确性，也提高了胸外科手术动作捕捉的准确性。