公开(公告)号：CN113487629B

公开(公告)日：2023-04-07

申请号：CN202110769607.6

申请日：2021-07-07

Applicant: 电子科技大学

Inventor： 高联丽 ,  赵启轲 ,  朱俊臣 ,  苏思桐 ,  申恒涛

IPC: G06T7/11 ,  G06T3/00 ,  G06V10/74 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06F16/532 ,  G06F16/583

Abstract: 本发明公开了一种基于结构化场景和文本描述的图像属性编辑方法，首次提出了“先结构化图片，再编辑”的实现方案，通过对图片场景的理解和解耦，能够有效地提升图片修改的效率和准确度，避免语义无关部分被过度修改。本发明在网络结构上采用了更适用于该任务的多尺度特征融合机制，在损失函数上结合了返还分割损失、分级式的语义匹配感知和图像质量判别器的对抗损失、图像一致性损失和图文相似度损失，保证了整个方法最终的总和性能，解决了现有图像属性编辑方法中运行不稳定、难以扩展和资源开销大的问题。

公开(公告)号：CN115424109A

公开(公告)日：2022-12-02

申请号：CN202210987590.6

申请日：2022-08-17

Applicant: 之江实验室 ,  电子科技大学

Inventor： 俞再亮 ,  苏思桐 ,  李海燕 ,  靖伟 ,  刘玉 ,  宋井宽

IPC: G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及图像处理领域，具体涉及一种可形变实例级图像翻译方法，其解决了现有技术中，域之间差距过大而导致的实例难以形变、实例无法和掩码信息保持一致的问题。其将前景的边缘信息、背景掩码信息和目标域标签信息的特征编码进行融合，获得混合掩码；然后，将背景特征和混合掩码，输入生成器，生成器的解码网络将输入的背景特征进行解码，同时从混合掩码提取附加信息，并将提取的附加信息作用于归一化后的解码输出上，通过附加信息对归一化后的解码输出进行仿射变换，从而获得了包括对应目标域掩码的前景信息和指示前景位置的位置信息的融合信息；最终，利用位置信息将生成的前景信息和源域背景图像进行融合，输出保留源域背景的目标域图片。

公开(公告)号：CN118262003A

公开(公告)日：2024-06-28

申请号：CN202410479956.8

申请日：2024-04-19

Applicant: 电子科技大学

Inventor： 高联丽 ,  郭力涛 ,  苏思桐 ,  宋井宽

IPC: G06T11/00 ,  G06F40/289 ,  G06F40/253 ,  G06F40/166 ,  G06T7/194

Abstract: 本发明公开了一种基于解耦再融合控制的故事分镜生成方法，首先对故事文本进行处理，得到角色和场景的文字提示，根据角色和场景的预设参考图像对预训练好的稳定扩散模型进行微调，得到每个场景或角色所对应的模型参数和对应的嵌入向量，然后生成每个句子中的角色图像和场景图像，以及角色中间图像和场景中间图像，从角色图像中提取出前景掩码图像并据此将角色和场景中间图像进行融合得到融合图像，然后采用角色和场景所对应稳定扩散模型的参数对后续去噪过程进行协同控制，将最终生成图像作为句子所对应的故事分镜图像。本发明综合考虑角色的视觉一致性和场景的上下文相关性，从而提升所生成分镜图像之间的逻辑连贯性。

公开(公告)号：CN115424110A

公开(公告)日：2022-12-02

申请号：CN202210991817.4

申请日：2022-08-17

Applicant: 之江实验室 ,  电子科技大学

Inventor： 靖伟 ,  苏思桐 ,  范康 ,  俞再亮 ,  刘玉 ,  宋井宽

IPC: G06V10/82 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及图像处理领域，具体涉及一种掩码变形方法，其能在仅知晓目标域标签信息的前提下，实现域之间的实例形变，且能够使得实例和掩码信息保持一致，其首先获得源域掩码的整体特征，然后将源域的各实例掩码分别与整体特征进行融合，获得各实例掩码特征；然后，再将目标域标签信息的特征编码分别嵌入各实例掩码特征；最后，通过生成器输出目标域生成掩码，作为对应目标域的实例掩码。同时，提供了一种掩码变形方法的掩码形变网络的训练方法，其以目标域真实掩码和通过上述掩码形变网络生成的掩码构成正负样本对，进行生成对抗网络训练，提出了一种有效且高效的训练范式。

公开(公告)号：CN113487629A

公开(公告)日：2021-10-08

申请号：CN202110769607.6

申请日：2021-07-07

Applicant: 电子科技大学

Inventor： 高联丽 ,  赵启轲 ,  朱俊臣 ,  苏思桐 ,  申恒涛

IPC: G06T7/11 ,  G06T3/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F16/532 ,  G06F16/583

Abstract: 本发明公开了一种基于结构化场景和文本描述的图像属性编辑方法，首次提出了“先结构化图片，再编辑”的实现方案，通过对图片场景的理解和解耦，能够有效地提升图片修改的效率和准确度，避免语义无关部分被过度修改。本发明在网络结构上采用了更适用于该任务的多尺度特征融合机制，在损失函数上结合了返还分割损失、分级式的语义匹配感知和图像质量判别器的对抗损失、图像一致性损失和图文相似度损失，保证了整个方法最终的总和性能，解决了现有图像属性编辑方法中运行不稳定、难以扩展和资源开销大的问题。