-
公开(公告)号:CN118864690B
公开(公告)日:2025-04-29
申请号:CN202410867723.5
申请日:2024-07-01
Applicant: 成都信息工程大学
IPC: G06T15/20 , G06T17/00 , G06T11/00 , G06N3/0475 , G06N3/0464 , G06N3/0455 , G06T7/70
Abstract: 本发明涉及一种基于大脑EEG信号的高保真3D重建方法,首先通过面向3D图像信号重建的EEG关联特征来获取大脑活动的精细特征,以实现对参与者视觉感知或想象内容的准确编码;然后采用EEG信号到2D图像映射,利用编码得到的特征对预训练的2D图像生成模块和CLIP模型进行微调,以实现对EEG信号语义的图像化表达,得到预训练的2D图像生成模块;最后将预训练后的2D图像生成模型与3D表示技术相结合,将3D场景参数化通过联合损失函数,以实现从EEG信号编码特征到具体3D图像的直观映射,生成具有高保真度和丰富细节的3D图像。本发明通过参与者对物体所产生的EEG信号而生成其对应的3D图像,为认知科学、心理学和神经科学领域的研究提供新的视角和工具。
-
公开(公告)号:CN117853695B
公开(公告)日:2024-05-03
申请号:CN202410261885.4
申请日:2024-03-07
Applicant: 成都信息工程大学
IPC: G06T19/20 , G06T15/00 , G06N3/0475 , G06N3/045 , G06N3/094 , G06N3/0464 , G06N3/048
Abstract: 本发明公开了一种基于局部空间自注意力的3D感知图像合成方法和装置,首先结合各对象的位姿信息和预定义的3D边界框将待合成场景进行解耦表示,有效克服了对象间的纠缠表示;然后通过自注意力的局部空间场景表征模块为各对象进行局部隐式表示,实现局部范围内的全局感知和增强对精细细节的表达,同时大大降低计算复杂度;接着定义组合算子得到完整场景表示;最后,渲染模块先将场景体渲染为低分辨率的特征图,再经过同时兼顾空间和通道因素影响的2D神经渲染器渲染得到最终结果。本发明方法具有更精细的合成效果,计算复杂度低,并允许从广泛的相机姿势进行渲染,可以在没有任何额外监督的情况下从原始图像集合中学习特征场表示。
-
公开(公告)号:CN117853695A
公开(公告)日:2024-04-09
申请号:CN202410261885.4
申请日:2024-03-07
Applicant: 成都信息工程大学
IPC: G06T19/20 , G06T15/00 , G06N3/0475 , G06N3/045 , G06N3/094 , G06N3/0464 , G06N3/048
Abstract: 本发明公开了一种基于局部空间自注意力的3D感知图像合成方法和装置,首先结合各对象的位姿信息和预定义的3D边界框将待合成场景进行解耦表示,有效克服了对象间的纠缠表示;然后通过自注意力的局部空间场景表征模块为各对象进行局部隐式表示,实现局部范围内的全局感知和增强对精细细节的表达,同时大大降低计算复杂度;接着定义组合算子得到完整场景表示;最后,渲染模块先将场景体渲染为低分辨率的特征图,再经过同时兼顾空间和通道因素影响的2D神经渲染器渲染得到最终结果。本发明方法具有更精细的合成效果,计算复杂度低,并允许从广泛的相机姿势进行渲染,可以在没有任何额外监督的情况下从原始图像集合中学习特征场表示。
-
公开(公告)号:CN117372644A
公开(公告)日:2024-01-09
申请号:CN202311363583.X
申请日:2023-10-20
Applicant: 成都信息工程大学
IPC: G06T17/10 , G06T15/20 , G06T7/77 , G06T7/80 , G06T3/02 , G06T3/4053 , G06N3/045 , G06N3/0475 , G06N3/0499 , G06N3/088
Abstract: 本发明公开了一种基于周期隐式表示的三维内容生成方法。首先,采用具有周期性激活函数的全连接SIREN网络结合仿射变换操作,为场景中包括背景在内的各个对象创建一个以潜在编码z为条件的三维神经特征场,这不仅保证了合成图像的高保真度,还鼓励了多视角一致性;其次,将这种组合特征场景表示合并至生成模型中,进一步允许了合成图像的可控性。此外,体渲染技术与神经渲染器的有效结合,能够高效地将分辨率较低的中间特征图像映射上采样到更高分辨率的RGB图像,进而提高整体的渲染效率。本发明的感知图像合成方法克服了现有的三维监督需要,实现了从非结构化和无位姿信息的二维图像集合中学习无监督的神经场景表示。
-
公开(公告)号:CN118864690A
公开(公告)日:2024-10-29
申请号:CN202410867723.5
申请日:2024-07-01
Applicant: 成都信息工程大学
IPC: G06T15/20 , G06T17/00 , G06T11/00 , G06N3/0475 , G06N3/0464 , G06N3/0455 , G06T7/70
Abstract: 本发明涉及一种基于大脑EEG信号的高保真3D重建方法,首先通过面向3D图像信号重建的EEG关联特征来获取大脑活动的精细特征,以实现对参与者视觉感知或想象内容的准确编码;然后采用EEG信号到2D图像映射,利用编码得到的特征对预训练的2D图像生成模块和CLIP模型进行微调,以实现对EEG信号语义的图像化表达,得到预训练的2D图像生成模块;最后将预训练后的2D图像生成模型与3D表示技术相结合,将3D场景参数化通过联合损失函数,以实现从EEG信号编码特征到具体3D图像的直观映射,生成具有高保真度和丰富细节的3D图像。本发明通过参与者对物体所产生的EEG信号而生成其对应的3D图像,为认知科学、心理学和神经科学领域的研究提供新的视角和工具。
-
-
-
-