公开(公告)号：CN117036586A

公开(公告)日：2023-11-10

申请号：CN202310634252.9

申请日：2023-05-31

Applicant: 南京邮电大学

Inventor： 霍智勇 ,  魏俊宇

IPC: G06T17/00 ,  G06T3/40 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 一种基于全局特征建模的多平面图像（Multiplane Images,MPI）新视点合成方法（TransMPI）。该方法的MPI生成网络首先利用3D编码器捕获多个深度平面之间的局部空间特征，提高MPI深度平面遮挡区域的预测能力，同时为了克服3D卷积神经网络（Convolutional Neural Network,CNN）对全局语义信息学习的局限性，引入了Transformer自注意力机制，TransMPI通过结合Transformer编码器进行全局特征表示建模，以在全局空间中建立长距离依赖关系。实验结果表明，TransMPI通过利用自注意力机制对连续深度平面之间的全局特征和局部特征的学习，进一步提高了MPI场景表示的推理质量，并提高了新视点合成图像的质量。

公开(公告)号：CN115457182A

公开(公告)日：2022-12-09

申请号：CN202211191210.4

申请日：2022-09-28

Applicant: 南京邮电大学

Inventor： 霍智勇 ,  魏俊宇

IPC: G06T15/00 ,  G06T7/80 ,  G06T9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于多平面图像场景表示的交互视点图像合成方法，为了消除新视点图像中的失真和伪像，提高新视点图像的合成质量，使用三维卷积神经网络来捕获跨多个深度平面的空间特征，同时建立了预测深度平面上的遮挡区域的能力。单应性变换模块是为了对输入的参考图像对的位置信息进行编码，将输入图像通过单应性变换矩阵分别重新投影到目标相机中；网络框架使用基于三维卷积的编码器解码器架构，每层的编码器和解码器通过跳跃连接为U型网络，增强了捕捉上下文信息的能力；网络输出模块通过混合网络预测的权重及alpha图像生成多平面图像场景表示，目标视点的图像通过对该场景表示进行从后到前的合成被渲染出来。本方法可以提高新视点图像合成的准确度。