公开(公告)号：CN118075493A

公开(公告)日：2024-05-24

申请号：CN202410151312.6

申请日：2024-02-02

Applicant: 上海交通大学

Inventor： 鲁国 ,  张志宇 ,  唐安妮 ,  宋利

IPC: H04N19/597 ,  G06T5/50 ,  G06T15/00 ,  H04N19/91 ,  H04N19/124 ,  H04N19/177 ,  H04N19/42 ,  H04N19/147 ,  H04N13/161

Abstract: 本发明提供了一种基于动态NeRF的体积视频处理方法及系统，包括：将辐射场的表示分解为系数场、基场；根据时间戳将动态序列划分为等间隔的画面组，引入残差场作为基场的特征补偿；根据采样点的坐标，利用三线性插值分别在系数场、基场中得到系数特征、基特征；特征映射：将系数特征、基特征进行合并，映射为颜色、密度；基于采样点的坐标、颜色和密度进行体积渲染，得到给定像素点的渲染颜色；将系数特征、基特征进行量化、熵编码，压缩动态NeRF；构建损失函数，训练动态NeRF。本发明的技术方案，动态辐射场的表征更紧凑；并且将动态辐射场的建模和压缩进行了端到端的联合优化，与现有的ReRF相比能实现更高的压缩效率。

公开(公告)号：CN114885178A

公开(公告)日：2022-08-09

申请号：CN202210423557.0

申请日：2022-04-21

Applicant: 上海交通大学

Inventor： 宋利 ,  唐安妮 ,  解蓉

IPC: H04N19/577 ,  H04N19/42 ,  H04N19/154 ,  H04N7/14 ,  G06V40/16 ,  G06T9/00 ,  G06V20/40

Abstract: 本发明公开了一种针对人脸视频的双向帧预测方法，包括：在时域上采样人脸视频的三帧图像；获得所述三帧图像各自对应的关键点热力图；结合所述三帧图像和所述关键点热力图，重建出中间帧图像。本发明有助于合成时域上光滑流畅的视频，提升观者的主观体验；本发明还公开了基于上述方法的一种极低码率的人脸视频混合压缩方法，将传统编码技术能够进行像素级精确恢复的优势与深度学习技术能够基于简略信息进行高质量重建的优势相结合，达到了在极低码率下合成高质量人脸视频的目的。