公开(公告)号：CN116402067B

公开(公告)日：2024-01-30

申请号：CN202310359660.8

申请日：2023-04-06

Applicant: 哈尔滨工业大学

Inventor： 苏统华 ,  杨富祥 ,  周翔 ,  李松泽 ,  陈鄞 ,  王忠杰 ,  涂志莹 ,  徐汉川 ,  马樱

IPC: G06F40/40 ,  G06V30/41 ,  G06V30/19 ,  G06N5/04

Abstract: 本发明公开了一种面向多语种的自监督跨语言文字风格保持生成方法，所述方法包括如下步骤：一、建立用于实现跨语言生成任务的条件生成对抗网络模型；二、条件生成对抗网络模型在多语言真实数据中进行自监督训练，且在自监督训练过程使用识别器和条件生成对抗网络模型联合训练，提升最终的风格文本图像可辨读性。本发明综合利用风格迁移、生成对抗网络、图像修复、场景文字擦除和图像文字识别等技术，面向多语种实施跨语言文字风格保持生成，将图像的文本内容修改为另一种语言的新文本，同时保留图像中文字风格和背景纹理，能够解决图像翻译后的结果面临替换前后文本风格不一致、背景纹理不协调等问题，给用户带来更好的图像翻译体验。

公开(公告)号：CN116563422A

公开(公告)日：2023-08-08

申请号：CN202310345363.8

申请日：2023-04-03

Applicant: 哈尔滨工业大学

Inventor： 苏统华 ,  杨富祥 ,  周翔 ,  李松泽 ,  陈鄞 ,  王忠杰 ,  涂志莹 ,  徐汉川

IPC: G06T11/60 ,  G06F40/109 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/088 ,  G06N3/09

Abstract: 本发明公开了一种文字图像风格的细粒度编辑方法，所述方法提出了针对文字图像风格的编辑框架，整体架构遵循前景文本和背景纹理分离、前景文本内容和风格分离的原则，这样能够自由修改前景文本而不破坏背景纹理、编辑文本风格属性而不影响文本内容；提出了隐空间向量的语义解析和分离方法，首次确定了文字风格能够解耦为旋转角度、字体和颜色等不同的细粒度风格属性，从而为语义编辑方法奠定基础；提出了同时支持有监督和无监督的细粒度文字风格属性编辑方法，能够对文字形状、字体和颜色等风格属性进行编辑。该方法适合文字图像的编辑框架，解耦文字风格为形状、颜色和字体等属性，实现文字风格精细控制和细粒度编辑。

公开(公告)号：CN116402067A

公开(公告)日：2023-07-07

申请号：CN202310359660.8

申请日：2023-04-06

Applicant: 哈尔滨工业大学

Inventor： 苏统华 ,  杨富祥 ,  周翔 ,  李松泽 ,  陈鄞 ,  王忠杰 ,  涂志莹 ,  徐汉川 ,  马樱

IPC: G06F40/40 ,  G06V30/41 ,  G06V30/19 ,  G06N5/04

Abstract: 本发明公开了一种面向多语种的自监督跨语言文字风格保持生成方法，所述方法包括如下步骤：一、建立用于实现跨语言生成任务的条件生成对抗网络模型；二、条件生成对抗网络模型在多语言真实数据中进行自监督训练，且在自监督训练过程使用识别器和条件生成对抗网络模型联合训练，提升最终的风格文本图像可辨读性。本发明综合利用风格迁移、生成对抗网络、图像修复、场景文字擦除和图像文字识别等技术，面向多语种实施跨语言文字风格保持生成，将图像的文本内容修改为另一种语言的新文本，同时保留图像中文字风格和背景纹理，能够解决图像翻译后的结果面临替换前后文本风格不一致、背景纹理不协调等问题，给用户带来更好的图像翻译体验。

公开(公告)号：CN113553797A

公开(公告)日：2021-10-26

申请号：CN202110892232.2

申请日：2021-08-04

Applicant: 哈尔滨工业大学

Inventor： 苏统华 ,  杨富祥 ,  王忠杰 ,  徐晓飞

IPC: G06F40/103 ,  G06T11/60 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种端到端的风格一致的文字图像生成方法，所述方法包括如下步骤：步骤一、对源风格图像中的文字进行擦除，补充背景纹理，得到无文字的背景图像；步骤二、将目标文本渲染为图像并嵌入背景重建模块输出的无文字的背景图像中，在相同背景下将源图像的文本风格迁移到目标文本中。本发明采用端到端的方法，将文本风格迁移、文字擦除等工作整合为一个网络，减少中间步骤可能带来的效果和性能的损失。本发明通过使用GAN算法，能够生成更加真实、风格更一致、语义更连贯的结果。