本发明公开了一种建筑立面建模方法及系统，属于图像处理技术领域；通过利用语义信息和不同语义中包含的先验知识，对建筑立面图像中属于不同建筑立面元素类别的各物体分别进行建模；首先对建筑立面图像进行语义分割，提取建筑立面图像中属于不同建筑立面元素类别的物体，然后对不同建筑立面元素类别的各物体进行建模，并在建模过程中基于对应的建筑立面元素类别的先验知识进行约束，不仅对建筑立面进行了准确建模，而且还减少了建筑立面建模过程对计算资源的消耗和训练数据的依赖，能够以一种简单有效的方式对建筑立面进行准确建模。