公开(公告)号：CN112765316B

公开(公告)日：2024-08-02

申请号：CN202110069525.0

申请日：2021-01-19

Applicant: 东南大学

Inventor： 周德宇 ,  孙凯 ,  胡名起

IPC: G06F16/33 ,  G06F16/58 ,  G06F40/289 ,  G06F40/30 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08 ,  G06T3/4053

Abstract: 本发明公开了一种引入胶囊网络的文本生成图像方法及装置，包括训练阶段和测试阶段，训练阶段通过文本信息，类标签和真实图像来训练一个引入胶囊网络的图像生成模型，包括多阶段的图像生成器和对生成图像评分的图像判别器，测试阶段输入文本及其类标签，利用图像生成器生成对应的图片，在文本生成图像的过程中引入了胶囊网络，同时学习自然语言文本和对应类标签中的实体信息，加强生成图像和文本的相关性。本发明的有益效果为：通过胶囊网络加强了对实体信息的学习，通过在较低维度的隐空间对文本信息和类信息进行融合，降低了训练的参数量，加强了文本和类信息的交互，在训练过程中通过多阶段的生成过程，降低了直接生成高分辨率图像的训练难度。

公开(公告)号：CN112765317B

公开(公告)日：2025-01-24

申请号：CN202110071013.8

申请日：2021-01-19

Applicant: 东南大学

Inventor： 周德宇 ,  孙凯 ,  胡名起

IPC: G06T11/00 ,  G06F16/334 ,  G06F16/58 ,  G06F40/289 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/08 ,  G06T3/4053

Abstract: 本发明公开了一种引入类信息的文本生成图像方法及装置，其中引入类信息的文本生成图像方法包括训练阶段和测试阶段，训练阶段基于生成对抗网络，利用描述图像的自然语言文本，该文本的类标签以及对应的真实图像训练生成器以及判别器；测试阶段利用文本及其类标签在生成器中生成对应图像，本发明的有益效果为：根据文本信息编码和类信息编码，通过分别转码生成文本语义图像特征和类信息图像特征，之后融合两种级别的图像特征解码生成图像，在生成图像的过程中引入了对应的类信息来加强生成图像和文本的相关性，同时在训练过程中通过多阶段的生成过程，逐步生成更高分辨率的图像，降低了直接生成高分辨率图像的训练难度。