本发明涉及一种基于深度学习的语义地图构建方法，包括：实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化，实现带有语义信息的深度地图构建，提高机器人的环境感知与自主定位能力。