本发明涉及一种基于深度变维码率控制的视频图像处理方法，包括：步骤S1、将原始高分辨率图像进行双三次下采样和低通滤波，得到平滑滤波图像；步骤S2、利用降维修正网络生成的修正项对平滑滤波图像进行细节修正，得到降维修正图像；步骤S3、采用深度码率控制模型对降维修正图像进行编码；步骤S4、建立并级联率失真卷积网络模型，基于先知图像率失真特性和预测失真图像线性缩放准则，对失真图像线性补偿优化，得到无损降维图像；步骤S5、对无损降维图像进行双三次插值维度还原，得到模糊深维图像；步骤S6、采用升维特征预测网络对升维细节进行预测并优化，得到还原图像。与现有技术相比，本发明具有传输效率高、线性损失小以及码率精度高的优点。