本发明提供一种基于语义增强的HEVC编码方法和装置，包括：获取原始编码和待编码视频；将所述待编码视频的图像帧依次输入至预先训练的CTU分割结果预测模型，得到CTU分割预测结果；根据所述原始编码对所述待编码视频进行编码；根据所述CTU分割预测结果执行所述编码过程中的率失真优化过程，得到目标编码；其中，所述CTU分割结果预测模型是基于深度神经网络利用海量视频文件样本训练得到的。本发明使用深度神经网络提取语义信息以预测CTU分割结果，根据神经网络的预测结果优化率失真优化遍历过程，从而优化编码方法，在不改变编码性能的同时节约编码时间。同时由于本发明与现有代码进行了结合，节约了部署成本。