公开(公告)号：CN118279455A

公开(公告)日：2024-07-02

申请号：CN202410461983.2

申请日：2024-04-17

Applicant: 北京信息科技大学

Inventor： 孙超 ,  刘畅 ,  邱钧 ,  吴丽娜

IPC: G06T13/40 ,  G06T17/00 ,  G06T7/80 ,  G06T7/73 ,  G06T7/55 ,  G06N3/0499 ,  G06N3/063

Abstract: 本发明公开了一种基于单目视觉的动态人体神经辐射场重构方法和装置，其包括：步骤1，通过相机采集动态人体视频，将动态人体视频进行分帧处理，得到预设间隔帧数的图片；步骤2，根据步骤1获得的图片，将人体的预设关键点的位置信息作为点提示，通过基于大模型SAM的场景动静分解模块，获得每帧图片的人体掩码，进而获得分解后的动态人体和静态背景；步骤3，利用式(1)描述的动态人体神经辐射场模型#imgabs0#获得动态人体的颜色ch和体密度σh，利用静态背景人体神经辐射场获得静态背景的颜色cs和体密度；#imgabs1#步骤4，通过体渲染技术，将步骤3获得的动态人体在规范空间中三维点的颜色和体密度，生成动态人体的新视角和新姿势图。本发明能够实现不使用多目视觉同步采集设备，仅通过单目相机采集到的数据，渲染出任意视角，任意姿态的动态人体，并可有效捕捉动态人体和静态背景的细节信息，得到具有高真实性和准确性的动静联合重构结果。