公开(公告)号：CN119741228A

公开(公告)日：2025-04-01

申请号：CN202411828017.6

申请日：2024-12-12

Applicant: 中国科学院计算技术研究所

Inventor： 安竹林 ,  冯伟伦 ,  杨传广 ,  黄礼泊 ,  徐勇军

IPC: G06T5/70 ,  G06T5/60

Abstract: 本发明提出一种基于混合精度量化的扩散模型极低比特量化方法和装置，包括：获取待极低比特量化的扩散模型，获取该极低比特量化的初始量化精度，增加该初始量化精度得到高比特量化精度，减少该初始量化精度得到低比特量化精度；统计该扩散模型中各组权重数据的长尾分布程度；将该长尾分布程度最高的至少一组权重数据按照该高比特量化精度进行量化，并将该长尾分布程度最低的至少一组权重数据按照该低比特量化精度进行量化，并将该扩散模型的其余权重数据按照该初始量化精度进行量化，得到量化模型；将噪声图像和降噪要求的文本向量输入该量化模型，该量化模型根据该文本向量对该噪声图像进行降噪，得到符合该降噪要求的去噪图像。

公开(公告)号：CN118587527A

公开(公告)日：2024-09-03

申请号：CN202410662573.4

申请日：2024-05-27

Applicant: 中国科学院计算技术研究所

Inventor： 冯伟伦 ,  杨传广 ,  安竹林 ,  徐勇军

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/40 ,  G06V10/82 ,  G06N3/047 ,  G06N3/096 ,  G06N3/084

Abstract: 本发明提供了一种基于跨图像像素空间关系的扩散模型蒸馏方法，包括：获取教师模型和学生模型，两个模型均为生成式的扩散模型，教师模型是预先训练好的模型，学生模型所设置的迭代去噪的步数比教师模型更少；获取一个批次的样本数据，将每个样本数据分别输入两个模型以生成该样本数据对应的教师图像和学生图像；将当前批次生成的每张教师图像和学生图像分别输入预训练好的特征提取器，得到教师图像特征和学生图像特征；根据每两个教师图像特征计算两者像素间的第一空间关系矩阵，以及根据每两个学生图像特征计算两者像素间的第二空间关系矩阵；根据每对第一空间关系矩阵和第二空间关系矩阵间的KL散度求损失，根据损失更新学生模型的参数，其中，当一个第一空间关系矩阵和另一个第二空间关系矩阵所涉及的样本数据的编号一致时视两者为一对。

公开(公告)号：CN118521666A

公开(公告)日：2024-08-20

申请号：CN202410662575.3

申请日：2024-05-27

Applicant: 中国科学院计算技术研究所

Inventor： 冯伟伦 ,  杨传广 ,  安竹林 ,  徐勇军

IPC: G06T11/00 ,  G06T5/70 ,  G06T5/60 ,  G06N3/096 ,  G06N3/047

Abstract: 本发明提供了一种基于在线像素嵌入队列蒸馏扩散模型的方法，包括：获取教师模型和学生模型，学生模型所设置的迭代去噪的步数比教师模型更少；获取一个批次的样本数据，分别输入两个模型以生成图像对；将每个图像对的两张图像分别输入特征提取器，得到教师和学生图像特征；从当前批次的教师图像特征中，随机采样部分像素嵌入推入队列；从在线像素嵌入队列中随机采样部分像素嵌入，以生成参考嵌入矩阵；针对每个图像对，计算其对应的第一相似度矩阵和第二相似度矩阵；针对每个图像对，计算其对应的第一相似度矩阵和第二相似度矩阵之间的KL散度；根据当前批次生成的所有图像对相关的KL散度，确定损失以更新学生模型的参数。