公开(公告)号：CN117974864A

公开(公告)日：2024-05-03

申请号：CN202410186360.9

申请日：2024-02-20

Applicant: 厦门大学

Inventor： 陈文亮 ,  苏松志

IPC: G06T15/00 ,  G06T7/194 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种动态新视角图像的合成方法、装置、设备及存储介质，通过先获取多视图视频，对多视图视频进行前景与背景分割，生成分割后的图像。处理分割后的图像，生成M个视角的相机位姿和N个时间帧运动物体的点云坐标，并生成运动物体的外包矩形框。以每一张训练图像的相机中心为出发点，朝每个像素发射射线，穿过外包矩形框的近平面和远平面，在每条射线上采样预设数量的采样点。将采样点的4D坐标分解为多个3D坐标，对每个3D坐标编码为哈希特征，通过MLP对哈希特征进行预测，生成采样点的密度。提取分割后的图像的小波高频系数，结合小波高频系数对当前渲染图像进行特征提取生成特征图。将采样点映射到相邻图像和对应的特征图，采用双线性插值的方式生成最终图像特征，通过MLP对最终图像特征进行预测，生成采样点的RGB颜色。采用体渲染的方式对采样点的RGB颜色和密度进行渲染，生成新视角的图像。解决了在捕捉复杂动态场景的外观细节方面不足、以及一致性渲染的准确性低的问题。