公开(公告)号：CN115393692A

公开(公告)日：2022-11-25

申请号：CN202211095848.8

申请日：2022-09-08

Applicant: 南京邮电大学

Inventor： 鲍秉坤 ,  盛业斐 ,  陶明 ,  谭智一 ,  邵曦

IPC: G06V10/82 ,  G06V10/80 ,  G06K9/62 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成式预训练语言模型的联想文本到图像生成方法，包括：基于数据集对生成式预训练模型进行微调，让预训练模型获得语义保留度好已有文本信息，得到微调后的预训练模型；将原始数据集中每张图像对应的十个句子作为微调后的预训练模型的输入，得到模型输出的生成数据集；对生成数据集进行约束处理和语义保留度评估选择，得到联想文本数据集；基于所述联想文本数据集，利用基于DF‑GAN的对抗生成网络模型，生成在文本图像跨模态语义特征上一致的图像。本发明综合利用生成式预训练模型的联想能力和丰富的语义信息，一定程度上平衡了了对抗生成网络在文本到图像跨模态生成任务上文本信息和图像信息不均衡的问题。