-
公开(公告)号:CN117788700B
公开(公告)日:2024-11-19
申请号:CN202311781174.1
申请日:2023-12-22
Applicant: 浙江大学
Abstract: 本发明公开了一种基于隐式表示的手物交互三维重建方法,该方法包括:从输入RGB图像序列中获取手部与物体的语义分割结果,并利用其估计物体的全模态掩膜;重建序列帧中手部运动和三维模型;将手部运动作为参考,得到物体的位姿并使用隐式表示对物体进行三维重建;基于全模态掩膜和手物交互过程物理合理性,约束物体的三维隐式表达;迭代优化物体三维表示和全模态掩码。本发明的优势在于解决了在手物交互场景中,面临遮挡问题时难以准确且完整地重建物体三维模型的挑战,同时仅需使用易于采集的RGB视频数据,即可实现对手部和物体的准确三维模型重建,减少了三维重建过程的复杂度与困难度。
-
公开(公告)号:CN117788700A
公开(公告)日:2024-03-29
申请号:CN202311781174.1
申请日:2023-12-22
Applicant: 浙江大学
Abstract: 本发明公开了一种基于隐式表示的手物交互三维重建方法,该方法包括:从输入RGB图像序列中获取手部与物体的语义分割结果,并利用其估计物体的全模态掩膜;重建序列帧中手部运动和三维模型;将手部运动作为参考,得到物体的位姿并使用隐式表示对物体进行三维重建;基于全模态掩膜和手物交互过程物理合理性,约束物体的三维隐式表达;迭代优化物体三维表示和全模态掩码。本发明的优势在于解决了在手物交互场景中,面临遮挡问题时难以准确且完整地重建物体三维模型的挑战,同时仅需使用易于采集的RGB视频数据,即可实现对手部和物体的准确三维模型重建,减少了三维重建过程的复杂度与困难度。
-