公开(公告)号：CN114943790B

公开(公告)日：2025-04-22

申请号：CN202210579474.0

申请日：2022-05-25

Applicant: 杭州电子科技大学

Inventor： 颜成钢 ,  丛高翔 ,  李亮 ,  徐常亮 ,  张深源 ,  王仲远 ,  高婷婷 ,  朱尊杰 ,  陈楚翘 ,  高宇涵

IPC: G06T11/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明公开了基于长短期跨模态一致性推理的迭代文本图像生成方法。首先获取文本指令意图的特征向量表示；然后提取源视觉图像的长期视觉特征信息和短期视觉特征信息；再构建目标图像生成器，通过目标图像生成器输出目标图像；将文本指令信息，长短期源视觉特征和生成的目标图像共同输入到长短期跨模态判别器，分别输出长期跨模态的一致性得分和短期跨模态的一致性得分。本发明通过长短期的一致性推理，模型可以更好地在语义空间对齐物体的视觉属性和相关地文本指令，以及更好地构建物体与物体之间的相对位置关系，进一步地保证了用户文本与所述图像的跨模态一致性，提高了生成质量。

公开(公告)号：CN114943790A

公开(公告)日：2022-08-26

申请号：CN202210579474.0

申请日：2022-05-25

Applicant: 杭州电子科技大学

Inventor： 颜成钢 ,  丛高翔 ,  李亮 ,  徐常亮 ,  张深源 ,  王仲远 ,  高婷婷 ,  朱尊杰 ,  陈楚翘 ,  高宇涵

IPC: G06T11/60 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于长短期跨模态一致性推理的迭代文本图像生成方法。首先获取文本指令意图的特征向量表示；然后提取源视觉图像的长期视觉特征信息和短期视觉特征信息；再构建目标图像生成器，通过目标图像生成器输出目标图像；将文本指令信息，长短期源视觉特征和生成的目标图像共同输入到长短期跨模态判别器，分别输出长期跨模态的一致性得分和短期跨模态的一致性得分。本发明通过长短期的一致性推理，模型可以更好地在语义空间对齐物体的视觉属性和相关地文本指令，以及更好地构建物体与物体之间的相对位置关系，进一步地保证了用户文本与所述图像的跨模态一致性，提高了生成质量。