-
公开(公告)号:CN119888011A
公开(公告)日:2025-04-25
申请号:CN202411952896.3
申请日:2024-12-27
Applicant: 哈尔滨工业大学
IPC: G06T11/60 , G06T5/70 , G06T5/60 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 具有反编辑概念擦除功能的文生图模型训练方法,属于文生图模型的概念擦除领域。解决了传统概念擦除方法无法阻止用户通过编辑产生包含目标概念且符合用户要求的图像的问题。本发明通过所构建的微调后文生图模型预测出的无条件噪声与先验引导计算后,会将擦除引导引入图像推断过程中、并且不受输入文本的限制。在训练阶段构造有损失函数#imgabs0#损失函数#imgabs1#和损失#imgabs2#来得到总损失,通过对有条件噪声与无条件噪声上均进行微调,以达到用户输入文本在不包含目标概念信息的情况下也能实现概念擦除,进而实现在生成与编辑中阻止目标概念图像产生的效果。本发明主要用于在文生图领域中,在不包含目标概念信息的情况下也能实现概念擦除。
-
公开(公告)号:CN115272687A
公开(公告)日:2022-11-01
申请号:CN202210811744.6
申请日:2022-07-11
Applicant: 哈尔滨工业大学
Abstract: 单样本自适应域生成器迁移方法,涉及就三级视觉中的图像生成和迁移学习领域。解决了使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明方法通过全局水平域迁移损失函数使迁移后的目标域生成器合成的图片拥有引导图的全局特征;设计了局部水平域迁移损失函数来解决现有技术无法准确获取引导图局部代表性特征的问题;利用逆映射器把合成图片映射到隐空间,并提出自适应属性保持损失函数来自适应的挑选和保持域共享的属性,从而使迁移后的图片保持了之前图片的部分属性,提高了合成图片的多样性,并通过给定一张目标域引导图即可实现对自适应域生成器的迁移。主要用于实现对自适应域生成器的迁移。
-
公开(公告)号:CN117668504A
公开(公告)日:2024-03-08
申请号:CN202311646566.7
申请日:2023-12-04
Applicant: 哈尔滨工业大学
IPC: G06F18/21 , G06F18/214 , G06V10/774
Abstract: 一种基于高效梯度近似的黑盒预训练多模态模型微调方法,属于预训练深度学习模型的自适应领域。本发明针对现有模型微调方法不适用于黑盒预训练模型的调优,无法提升黑盒预训练模型在下游任务上的性能的问题。包括设置提示词模块以学习适应下游任务的语境;将提示词前缀与文本编码器原输入文本的类别词拼接后,输入文本编码器进行编码,获得文本类别特征向量;由特征适配器处理图像编码器输出的特征,获得输入图像的视觉特征;基于文本类别特征向量和输入图像视觉特征的匹配结果计算损失函数;基于多次随机扰动的梯度估计算法对提示词模块的参数进行优化;对特征适配器使用梯度反向传播算法进行优化。本发明用于预训练模型的调优。
-
公开(公告)号:CN114331885B
公开(公告)日:2025-05-02
申请号:CN202111586598.3
申请日:2021-12-21
Applicant: 哈尔滨工业大学
Abstract: 一种带有超前循环模块的在线视频去噪系统,属于视频去噪技术领域。本发明针对现有基于双向循环神经网络的视频去噪系统不能在线处理的问题。包括前向循环模块,用于对当前帧和相邻前一帧噪声图像及相邻前一帧噪声图像的前向特征进行处理,获得当前帧噪声图像的前向特征;超前循环模块,用于对相邻选定未来帧和相邻选定未来帧的前一帧噪声图像及相邻选定未来帧的前一帧噪声图像的超前特征进行处理,获得相邻选定未来帧噪声图像的超前特征;对齐模块,用于将未来帧超前特征从未来帧噪声图像对齐到当前帧噪声图像,获得对齐后的超前特征;解码模块,用于将当前帧前向特征和对齐后的超前特征进行融合,得到当前帧的去噪图像。本发明用于在线视频去噪。
-
公开(公告)号:CN118397682A
公开(公告)日:2024-07-26
申请号:CN202410561374.4
申请日:2024-05-08
Applicant: 哈尔滨工业大学
Abstract: 兼具身份保持和编辑灵活性的人脸定制化生成方法,属于图像生成领域。解决了传统人脸定制化生成的方法难以同时实现身份特征的保留和图像内容的高度可编辑性的问题。本发明基于由身份提取模块、身份适配模块和文生图模块构成的噪声预测模块实现噪声预测;训练阶段引入解耦损失#imgabs0#编辑方向损失#imgabs1#和重建损失#imgabs2#对身份提取模块、身份适配模块进行训练,保证模型学习忠实的身份特征提升定制化图像的可编辑性;推理阶段身份提取模块将待定制人脸图像作为输入得到身份特征,文生图模块通过身份适配模块在身份特征中引入预设隐空间噪声、人脸描述文本,形成包含定制化图像信息的预测噪声,从预测噪声中剔除预设隐空间噪声后进行解码,得到定制化图像。
-
公开(公告)号:CN115272687B
公开(公告)日:2023-05-05
申请号:CN202210811744.6
申请日:2022-07-11
Applicant: 哈尔滨工业大学
Abstract: 单样本自适应域生成器迁移方法,涉及就三级视觉中的图像生成和迁移学习领域。解决了使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明方法通过全局水平域迁移损失函数使迁移后的目标域生成器合成的图片拥有引导图的全局特征;设计了局部水平域迁移损失函数来解决现有技术无法准确获取引导图局部代表性特征的问题;利用逆映射器把合成图片映射到隐空间,并提出自适应属性保持损失函数来自适应的挑选和保持域共享的属性,从而使迁移后的图片保持了之前图片的部分属性,提高了合成图片的多样性,并通过给定一张目标域引导图即可实现对自适应域生成器的迁移。主要用于实现对自适应域生成器的迁移。
-
公开(公告)号:CN114331885A
公开(公告)日:2022-04-12
申请号:CN202111586598.3
申请日:2021-12-21
Applicant: 哈尔滨工业大学
Abstract: 一种带有超前循环模块的在线视频去噪系统,属于视频去噪技术领域。本发明针对现有基于双向循环神经网络的视频去噪系统不能在线处理的问题。包括前向循环模块,用于对当前帧和相邻前一帧噪声图像及相邻前一帧噪声图像的前向特征进行处理,获得当前帧噪声图像的前向特征;超前循环模块,用于对相邻选定未来帧和相邻选定未来帧的前一帧噪声图像及相邻选定未来帧的前一帧噪声图像的超前特征进行处理,获得相邻选定未来帧噪声图像的超前特征;对齐模块,用于将未来帧超前特征从未来帧噪声图像对齐到当前帧噪声图像,获得对齐后的超前特征;解码模块,用于将当前帧前向特征和对齐后的超前特征进行融合,得到当前帧的去噪图像。本发明用于在线视频去噪。
-
-
-
-
-
-