本发明提供一种面向室内场景三维语义分割的虚拟视图选择方法和装置。利用基于体素的三维深度学习网络对三维室内场景进行初步语义分割，得到三维场景的特征向量和语义分割结果；利用特征向量和初始分割结果，利用深度强化学习的方法，训练不确定度打分网络，估计场景各处的不确定度；根据场景的不确定度选择合适的虚拟视图取景区域，从恰当角度渲染虚拟视图；用虚拟视图和原三维场景三维信息结合，得到三维室内场景的语义分割结果。本发明在优化三维室内场景语义分割结果的过程中，利用深度强化学习监督了场景不确定度的生成，同时引入了虚拟视图渲染方法，保证了原本分割结果较差的位置上有更多的信息，使得三维室内场景语义分割的准确性显著提高。