公开(公告)号：CN118736117A

公开(公告)日：2024-10-01

申请号：CN202410809847.8

申请日：2024-06-21

Applicant: 中国科学院软件研究所

Inventor： 王宏安 ,  曲文天 ,  蒙宸宇 ,  邓小明 ,  马翠霞 ,  张寅达 ,  崔兆鹏

IPC: G06T17/00 ,  G06T7/77 ,  G06T15/20 ,  G06N3/045 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明提出一种手物交互场景的新视角生成和姿态估计方法和装置，采用基于神经辐射场模型的方法，实现手物交互场景下的新视角生成和姿态估计。本发明提出了基于两阶段的方法实现手物交互场景重构，离线阶段基于神经辐射场分别建立人手和物体模型，模型可以通过输入人手或物体姿态得到形状和渲染图像；在线阶段通过优化的方法优化人手和物体姿态，从而实现基于稀疏视角的手物交互场景重构和渲染。在基于视频序列的任务中，为减少手物交互时的姿态抖动以及接触位置的滑动，本发明提出稳定接触损失，可明显提升手物交互时的稳定性。经过实际使用验证，本发明具有自动化程度高、精度高和真实感高的优点，可满足专业的或者大众化的应用需求。