本发明的运动图像编码装置以及运动图像编码方法，对于4:2:0、4:2:2、4:4:4等多个不同的色度格式，用有效的装置结构统一进行编码。根据给出输入运动图像信号的色度格式种类的控制信号，在色度格式是4:2:0或4:2:2的情况下，在输入运动图像信号的亮度分量中适用第1内部预测模式决定部和第1内部预测图像生成部，在色差分量中适用第2内部预测模式决定部和第2内部预测图像生成部，在色度格式是4:4:4的情况下，在输入运动图像信号的全部色分量中适用第1内部预测模式决定部和第1内部预测图像生成部，进行编码，可变长编码部把控制信号作为在运动图像序列单位中适用的编码数据，在比特流中多路复用。