-
公开(公告)号：CN119169135A
公开(公告)日：2024-12-20
申请号：CN202411307828.1
申请日：2024-09-19
Applicant: 南京邮电大学
IPC: G06T11/00 , G06V20/70 , G06T7/00 , G06T5/70 , G06T5/60 , G06N5/04 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06N3/084
Abstract: 本发明公开了一种基于协同关系感知的扩散模型食物生成方法及系统，涉及文本生成图像技术领域，包括：接收食物图像数据，将食物图像数据输入至预先建立的标注模型BLIP内进行文本标注，得到标注后的食物图像数据；将标注后的食物图像数据输入至预先建立的问答模型GPT4内对菜谱和图像进行关系提取，提取出每个食材和对应的烹饪动作，作为二元组；将二元组输入至预训练大模型CLIP的文本编码器内进行编码，将编码后的关系通过关系注入器输入至预先建立的主干扩散模型的交叉注意力层内，输出得到生成的食物图像；将生成的食物图像输入至预先建立的图像打分反馈模型内，得出图像打分分数，根据图像打分分数对生成的食物图像进行优化。
-
公开(公告)号：CN112818646B
公开(公告)日：2023-07-14
申请号：CN202110219192.5
申请日：2021-02-26
Applicant: 南京邮电大学
IPC: G06F40/166 , G06T3/00 , G06F18/214 , G06N3/0464 , G06N3/049 , G06N3/084
Abstract: 本发明提出了一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，通过生成器和判别器的对抗训练，使得生成器最终能够将给定的图片编辑为与文本描述相匹配的图片。主要包括以下步骤：获取文本与图片匹配的数据集、搭建基于生成对抗网络的生成对抗模型；通过梯度下降法迭代训练生成网络和判别网络。最终获得一个能够有效根据文本编辑已有图片的生成器。本发明通过生成器中的动态编辑模块以及动态卷积模块，将文本信息融合进图片解码过程中；通过对判别器的零中心匹配梯度惩罚，促使生成器生成的图片与给定的文本匹配；有效地解决了编辑的图片细节缺失，编辑后的图片与给定文本不匹配的问题。
-
公开(公告)号：CN115393692A
公开(公告)日：2022-11-25
申请号：CN202211095848.8
申请日：2022-09-08
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于生成式预训练语言模型的联想文本到图像生成方法，包括：基于数据集对生成式预训练模型进行微调，让预训练模型获得语义保留度好已有文本信息，得到微调后的预训练模型；将原始数据集中每张图像对应的十个句子作为微调后的预训练模型的输入，得到模型输出的生成数据集；对生成数据集进行约束处理和语义保留度评估选择，得到联想文本数据集；基于所述联想文本数据集，利用基于DF‑GAN的对抗生成网络模型，生成在文本图像跨模态语义特征上一致的图像。本发明综合利用生成式预训练模型的联想能力和丰富的语义信息，一定程度上平衡了了对抗生成网络在文本到图像跨模态生成任务上文本信息和图像信息不均衡的问题。
-
公开(公告)号：CN112818646A
公开(公告)日：2021-05-18
申请号：CN202110219192.5
申请日：2021-02-26
Applicant: 南京邮电大学
IPC: G06F40/166 , G06T3/00 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出了一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，通过生成器和判别器的对抗训练，使得生成器最终能够将给定的图片编辑为与文本描述相匹配的图片。主要包括以下步骤：获取文本与图片匹配的数据集、搭建基于生成对抗网络的生成对抗模型；通过梯度下降法迭代训练生成网络和判别网络。最终获得一个能够有效根据文本编辑已有图片的生成器。本发明通过生成器中的动态编辑模块以及动态卷积模块，将文本信息融合进图片解码过程中；通过对判别器的零中心匹配梯度惩罚，促使生成器生成的图片与给定的文本匹配；有效地解决了编辑的图片细节缺失，编辑后的图片与给定文本不匹配的问题。
-
-
-
Search Results
4
records
(took 0.017 seconds)
