公开(公告)号：CN119273813B

公开(公告)日：2025-03-04

申请号：CN202411823713.8

申请日：2024-12-12

Applicant: 南京邮电大学

Inventor： 霍智勇 ,  高璐杰

IPC: G06T11/60 ,  G06T7/11 ,  G06T7/70 ,  G06T3/60 ,  G06T7/80 ,  G06T3/4038 ,  G06T3/4046 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于相机位姿光场编码的新视点图像合成方法，包括：设计了一种两阶段训练的场景新视点合成模型；确定了一种位姿光场编码方案，将视点位姿编码为目标分辨率的位姿光场；提供了一种有效的训练策略；有益效果是：本发明基于Transformer模块的优势，训练了一个具备大量先验的场景潜在表示编码模型与一个场景新视点合成模块。再通过引入一种位姿光场编码，解决了视点控制不精确的问题，并优化了传统的基于像素光线渲染的生成速度。本发明在训练中引入了一个目标位姿的随机加噪过程，有效避免了第二阶段训练中对特定目标位姿的过拟合现象，使得生成模型的泛化性与生成质量都得到了较大提升。

公开(公告)号：CN119273813A

公开(公告)日：2025-01-07

申请号：CN202411823713.8

申请日：2024-12-12

Applicant: 南京邮电大学

Inventor： 霍智勇 ,  高璐杰

IPC: G06T11/60 ,  G06T7/11 ,  G06T7/70 ,  G06T3/60 ,  G06T7/80 ,  G06T3/4038 ,  G06T3/4046 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于相机位姿光场编码的新视点图像合成方法，包括：设计了一种两阶段训练的场景新视点合成模型；确定了一种位姿光场编码方案，将视点位姿编码为目标分辨率的位姿光场；提供了一种有效的训练策略；有益效果是：本发明基于Transformer模块的优势，训练了一个具备大量先验的场景潜在表示编码模型与一个场景新视点合成模块。再通过引入一种位姿光场编码，解决了视点控制不精确的问题，并优化了传统的基于像素光线渲染的生成速度。本发明在训练中引入了一个目标位姿的随机加噪过程，有效避免了第二阶段训练中对特定目标位姿的过拟合现象，使得生成模型的泛化性与生成质量都得到了较大提升。