一种基于隐式表示的手物交互三维重建方法

    公开(公告)号:CN117788700B

    公开(公告)日:2024-11-19

    申请号:CN202311781174.1

    申请日:2023-12-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于隐式表示的手物交互三维重建方法,该方法包括:从输入RGB图像序列中获取手部与物体的语义分割结果,并利用其估计物体的全模态掩膜;重建序列帧中手部运动和三维模型;将手部运动作为参考,得到物体的位姿并使用隐式表示对物体进行三维重建;基于全模态掩膜和手物交互过程物理合理性,约束物体的三维隐式表达;迭代优化物体三维表示和全模态掩码。本发明的优势在于解决了在手物交互场景中,面临遮挡问题时难以准确且完整地重建物体三维模型的挑战,同时仅需使用易于采集的RGB视频数据,即可实现对手部和物体的准确三维模型重建,减少了三维重建过程的复杂度与困难度。

    一种基于隐式表示的手物交互三维重建方法

    公开(公告)号:CN117788700A

    公开(公告)日:2024-03-29

    申请号:CN202311781174.1

    申请日:2023-12-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于隐式表示的手物交互三维重建方法,该方法包括:从输入RGB图像序列中获取手部与物体的语义分割结果,并利用其估计物体的全模态掩膜;重建序列帧中手部运动和三维模型;将手部运动作为参考,得到物体的位姿并使用隐式表示对物体进行三维重建;基于全模态掩膜和手物交互过程物理合理性,约束物体的三维隐式表达;迭代优化物体三维表示和全模态掩码。本发明的优势在于解决了在手物交互场景中,面临遮挡问题时难以准确且完整地重建物体三维模型的挑战,同时仅需使用易于采集的RGB视频数据,即可实现对手部和物体的准确三维模型重建,减少了三维重建过程的复杂度与困难度。

Patent Agency Ranking