公开(公告)号：CN119600198A

公开(公告)日：2025-03-11

申请号：CN202411664069.4

申请日：2024-11-20

Applicant: 南京理工大学

Inventor： 许春燕 ,  夏立凡 ,  李勇 ,  郑向伟 ,  崔振

IPC: G06T17/00 ,  G06T15/08 ,  G06T3/4053 ,  G06V40/16 ,  G06V10/766 ,  G06V10/52 ,  G06V10/82 ,  G06N3/045 ,  G06N3/084 ,  G06N3/091

Abstract: 本发明公开了一种基于神经辐射场的三维视线重定向的方法，包括以下步骤：S1、搜集并处理数据集，将数据集中的图像进行人脸模型处理；S2、进行特征编码与多层感知机MLP进行约束学习；S3、通过步骤S1中得到的图像和三维人脸参数，利用三平面特征提取器EF提取三平面特征T并通过三平面特征T进行体渲染生成低分辨率特征FT；S4、模型总体优化通过执行梯度下降法更新模型整体的权重，迭代训练若干轮次。本发明采用上述的一种基于神经辐射场的三维视线重定向的方法，实现了一种端到端的视线重定向模型训练，在使用单视角图像的情况下，实现了头部姿态和注视方向的显式解耦，达到了同时控制注视方向和头部姿态的效果。