公开(公告)号：CN113140023A

公开(公告)日：2021-07-20

申请号：CN202110474295.6

申请日：2021-04-29

Applicant: 南京邮电大学

Inventor： 季薇 ,  罗盛耀 ,  李云

IPC: G06T11/20 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于空间注意力的文本到图像生成方法及系统，将文本描述输入文本编码器输出句子向量；生成服从高斯分布的随机噪声向量；生成器包括三个空间注意力模块和六个依次连接的上模块，其中位于第一个的上模块连接全连接层，位于最后三个的上模块分别连接一个空间注意力模块，三个空间注意力模块共同连接一个特征组通道归并模块，特征组通道归并模块连接卷积层，在生成器中引入了空间注意力机制，对特征图中不同区域分配不同程度的注意力，加强特征图中最有用的特征，抑制无用的特征，避免了产生伪像的问题；引入了特征组通道归并模块，充分融合文本信息，以增强提取得到特征的表达能力，使生成的图像更加清晰，并且符合给定的文本描述。

公开(公告)号：CN113140023B

公开(公告)日：2023-09-15

申请号：CN202110474295.6

申请日：2021-04-29

Applicant: 南京邮电大学

Inventor： 季薇 ,  罗盛耀 ,  李云

IPC: G06N3/0475 ,  G06T11/60 ,  G06F40/211 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/094

Abstract: 本发明提供一种基于空间注意力的文本到图像生成方法及系统，将文本描述输入文本编码器输出句子向量；生成服从高斯分布的随机噪声向量；生成器包括三个空间注意力模块和六个依次连接的上模块，其中位于第一个的上模块连接全连接层，位于最后三个的上模块分别连接一个空间注意力模块，三个空间注意力模块共同连接一个特征组通道归并模块，特征组通道归并模块连接卷积层，在生成器中引入了空间注意力机制，对特征图中不同区域分配不同程度的注意力，加强特征图中最有用的特征，抑制无用的特征，避免了产生伪像的问题；引入了特征组通道归并模块，充分融合文本信息，以增强提取得到特征的表达能力，使生成的图像更加清晰，并且符合给定的文本描述。