公开(公告)号：CN118450213A

公开(公告)日：2024-08-06

申请号：CN202410580251.5

申请日：2024-05-11

申请人： 上海人工智能创新中心

发明人： 张海渝 ,  陈昕苑 ,  王耀晖 ,  刘希慧 ,  王蕴红 ,  乔宇

IPC分类号： H04N21/854 ,  G06N3/045 ,  G06N3/08 ,  H04N21/81 ,  H04N13/275 ,  H04N13/282 ,  G06T15/08 ,  G06T15/20

摘要： 本发明公开了一种4D内容的生成方法、装置、设备及存储介质。基于多个第一时空信息及原始动态神经辐射场生成多个视角的第一视频；将所述多个视角的第一视频和参考视频输入多视角扩散模型，输出多个视角的第二视频；所述多视角扩散模型为预先训练的用于生成多视角视频的神经网络模型；基于所述多个视角的第二视频和所述多个视角的第一视频确定第一损失函数；基于所述第一损失函数对所述原始动态神经辐射场进行训练，获得目标动态神经辐射场；基于所述目标动态辐射场和第二时空信息生成目标4D内容；其中，所述第一时空信息和所述第二时空信息均包括时间信息和空间信息。可以提高4D内容的质量并保证其时空一致性。