本发明提供一种视频编码或解码方法及装置，用于应用于360°虚拟现实序列的视频编码或解码系统。根据本发明，导出表示所述360°虚拟现实序列的一个或多个多面序列。如果选择帧间预测用于当前面中的当前块，通过分配一个目标参考面到一个虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面，来为所述一个或多个多面序列的每个面导出所述虚拟参考帧。然后，使用为所述当前面导出的当前虚拟参考帧对所述当前面中的所述当前块进行编码或解码，以导出所述当前块的帧间预测子。