本发明提供一种为图像/视频编码器处理图像/视频数据的方法及装置。该方法包含：接收图像数据或视频数据，该图像数据或该视频数据对应于多个输入信道；对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。本发明还提供一种为图像/视频解码器处理图像/视频数据的方法及装置。本发明可利用残余量信号不同信道间的冗余量。