公开(公告)号：CN117853695A

公开(公告)日：2024-04-09

申请号：CN202410261885.4

申请日：2024-03-07

Applicant: 成都信息工程大学

Inventor： 宋成刚 ,  符颖 ,  袁霞 ,  谭诗瀚

IPC: G06T19/20 ,  G06T15/00 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公开了一种基于局部空间自注意力的3D感知图像合成方法和装置，首先结合各对象的位姿信息和预定义的3D边界框将待合成场景进行解耦表示，有效克服了对象间的纠缠表示；然后通过自注意力的局部空间场景表征模块为各对象进行局部隐式表示，实现局部范围内的全局感知和增强对精细细节的表达，同时大大降低计算复杂度；接着定义组合算子得到完整场景表示；最后，渲染模块先将场景体渲染为低分辨率的特征图，再经过同时兼顾空间和通道因素影响的2D神经渲染器渲染得到最终结果。本发明方法具有更精细的合成效果，计算复杂度低，并允许从广泛的相机姿势进行渲染，可以在没有任何额外监督的情况下从原始图像集合中学习特征场表示。