公开(公告)号：CN116975344B

公开(公告)日：2024-01-23

申请号：CN202310995934.2

申请日：2023-08-09

Applicant: 浙江大学 ,  浙江智琮科技有限公司

Inventor： 张克俊 ,  沈吕可晟 ,  王柏林 ,  殷叶航 ,  陈泽文 ,  沈心逸

IPC: G06F16/56 ,  G06F16/58 ,  G06T11/20 ,  G06T3/04 ,  G06N3/045 ,  G06N3/0985 ,  G06N5/04

Abstract: 本发明公开了一种基于Stable Diffusion的中文字库生成方法及装置，包括：对不同开源字体的所有汉字字符生成位图数据集，对Stable Diffusion模型训练得到汉字专属扩散模型；设计目标字符位图作为目标风格参考图像，训练上游简易字体风格转换微调模型；使用目标风格参考图像对汉字专属扩散模型训练得到汉字专属微调扩散模型；使用宋体字符位图进行结构控制的汉字结构ControlNet训练；利用上述模型结合文本编码器、图像编码器构建位图推理模型；构建训练数据对位图推理模型进行训练；利用训练好的位图推理模型生成结果位图；对生成的位图矢量化后得到中文字库。本发明解决了生成汉字位图分辨率低、噪点多、汉字结构不稳定、不可见风格不相似的问题，提升中文字库生成效率和质量。

公开(公告)号：CN114359038B

公开(公告)日：2025-03-14

申请号：CN202210041793.6

申请日：2022-01-14

Applicant: 浙江大学

Inventor： 张克俊 ,  陈泽文 ,  殷叶航 ,  张瑞 ,  王柏林

IPC: G06F40/00

Abstract: 本发明公开了一种基于生成对抗网络的多风格动态组字方法，包括：将汉字表述成IDS序列，IDS序列包含多个组成汉字的子结构的字符和表征子结构的布局信息的IDC字符；构建每个子结构的字形矢量模型，依据IDC字符呈现的子结构的布局信息对子结构的字形矢量模型进行矢量组合得到汉字的字形矢量模型；利用基于生成对抗网络构建的风格优化模型，对汉字的字形矢量模型对应的字形图像进行风格优化处理。该方法通过图形学方法进行初步动态组字，并基于对抗网络对多种风格字体的动态组字结果进行优化，从而实现更好的字形结体效果。

公开(公告)号：CN118155215A

公开(公告)日：2024-06-07

申请号：CN202410125336.4

申请日：2024-01-30

Applicant: 浙江大学 ,  浙江智琮科技有限公司

Inventor： 张克俊 ,  陈泽文 ,  任天宇 ,  殷叶航 ,  沈吕可晟 ,  王柏林 ,  沈心逸

IPC: G06V30/184 ,  G06V30/18 ,  G06V30/19

Abstract: 本发明公开了一种基于ControlNet的汉字笔画提取方法及装置，包括以下步骤：(1)从多种字体文件中提取每个汉字图像的笔画相互交叠部分并标注，将汉字图像和对应的标注图像配对，构建笔画交叠区域标注所需的训练数据集，并对ControlNet模型进行预训练；(2)将待提取笔画的原始汉字图像输入训练好的ControlNet模型，预测得到标注笔画交叠区域的笔画检测图像；(3)根据笔画交叠区域检测图像，从原始汉字图像中分割出笔画交叠区域和笔画片段；(4)将属于一个笔画的笔画片段组合，得到完整的独立笔画。利用本发明，不需要使用标注笔画类型的标准字体数据集就可以较为准确地从各种风格字体的高分辨率汉字图像中提取独立的高分辨率笔画。

公开(公告)号：CN115828848A

公开(公告)日：2023-03-21

申请号：CN202111082877.6

申请日：2021-09-15

Applicant: 浙江大学 ,  深圳市腾讯计算机系统有限公司

Inventor： 张克俊 ,  张瑞 ,  凌永根 ,  陈堉东 ,  许伟欣 ,  陈妍 ,  张正友 ,  李英明 ,  王柏林 ,  吴泳林 ,  李一非

IPC: G06F40/109 ,  G06V20/62 ,  G06V30/18 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/08

Abstract: 本申请公开了一种字体生成模型的训练方法、装置、设备及存储介质，属于机器学习领域。所述方法包括：获取n种样本字体的字体风格图像、第一文字的字体内容图像和第一文字在n种样本字体下的样本文字图像；调用字体生成模型对n种样本字体的字体风格图像中的风格特征进行学习，以及对第一文字的字体内容图像中的内容特征进行学习，从而预测出第一文字在n种样本字体下的预测文字图像；根据n种样本字体下的预测文字图像与n种样本字体下的样本文字图像之间的n组误差，对字体生成模型进行训练。本申请能够使字体生成模型同时适应多种字体，强化字体生成模型对不同字体的字体细节差异方面的特征提取能力，使得字体生成的质量提升且稳定性提高。

公开(公告)号：CN114359038A

公开(公告)日：2022-04-15

申请号：CN202210041793.6

申请日：2022-01-14

Applicant: 浙江大学

Inventor： 张克俊 ,  陈泽文 ,  殷叶航 ,  张瑞 ,  王柏林

IPC: G06T3/00 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的多风格动态组字方法，包括：将汉字表述成IDS序列，IDS序列包含多个组成汉字的子结构的字符和表征子结构的布局信息的IDC字符；构建每个子结构的字形矢量模型，依据IDC字符呈现的子结构的布局信息对子结构的字形矢量模型进行矢量组合得到汉字的字形矢量模型；利用基于生成对抗网络构建的风格优化模型，对汉字的字形矢量模型对应的字形图像进行风格优化处理。该方法通过图形学方法进行初步动态组字，并基于对抗网络对多种风格字体的动态组字结果进行优化，从而实现更好的字形结体效果。

公开(公告)号：CN116975344A

公开(公告)日：2023-10-31

申请号：CN202310995934.2

申请日：2023-08-09

Applicant: 浙江大学 ,  浙江智琮科技有限公司

Inventor： 张克俊 ,  沈吕可晟 ,  王柏林 ,  殷叶航 ,  陈泽文 ,  沈心逸

IPC: G06F16/56 ,  G06F16/58 ,  G06T11/20 ,  G06T3/00 ,  G06N3/045 ,  G06N3/0985 ,  G06N5/04

Abstract: 本发明公开了一种基于Stable Diffusion的中文字库生成方法及装置，包括：对不同开源字体的所有汉字字符生成位图数据集，对Stable Diffusion模型训练得到汉字专属扩散模型；设计目标字符位图作为目标风格参考图像，训练上游简易字体风格转换微调模型；使用目标风格参考图像对汉字专属扩散模型训练得到汉字专属微调扩散模型；使用宋体字符位图进行结构控制的汉字结构ControlNet训练；利用上述模型结合文本编码器、图像编码器构建位图推理模型；构建训练数据对位图推理模型进行训练；利用训练好的位图推理模型生成结果位图；对生成的位图矢量化后得到中文字库。本发明解决了生成汉字位图分辨率低、噪点多、汉字结构不稳定、不可见风格不相似的问题，提升中文字库生成效率和质量。

公开(公告)号：CN115543236A

公开(公告)日：2022-12-30

申请号：CN202211384606.0

申请日：2022-11-07

Applicant: 浙江大学

Inventor： 张克俊 ,  陈铭威 ,  王柏林 ,  蔡世轩 ,  沈寒暑 ,  陈泽文 ,  沈心逸 ,  沈吕可晟

IPC: G06F3/12 ,  B41M5/00 ,  B41J29/393

Abstract: 本发明公开了一种基于人工智能的中国水墨画分层打印方法及装置，其中，打印装置包括：台基、支撑结构、色彩管理模块、微喷勾勒打印模块、雾化晕染打印模块、氧化光‑液系统模块以及电子信息模块。同时，利用人工智能算法等技术手段对图像进行数据采集、图层分割和参数校调等打印预处理，结合打印装置在宣纸上分层分时叠加打印线条勾勒层和水墨晕染层，并对画面整体进行延时氧化处理，最终获得还原度较高的宣纸水墨晕染叠加和古拙历史效果。利用本发明，可以较真实地还原中国水墨画中的宣纸水墨晕染叠加效果，能够有效改善目前中国画复制品打印领域存在的反光死板、缺乏层次感、晕染衍生、色彩失真等问题，具有广泛的科研与文化应用价值。