公开(公告)号：CN119850792A

公开(公告)日：2025-04-18

申请号：CN202510058709.5

申请日：2025-01-15

Applicant: 河北工业大学

Inventor： 杨亮 ,  秦飞阳 ,  张华 ,  李林昊 ,  马子艺 ,  汪梦竹 ,  靳瑞勇 ,  卢金禹 ,  董纪悦

IPC: G06T11/60 ,  G06V30/19 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06F40/30

Abstract: 本发明公开一种基于扩散大模型的图像上文本的可控生成方法，该方法可以定制生成用户所需的图像。具体来说首先通过使用Transformer对用户输入的提示词进行语义提取，进而生成符合用户需求的字体布局图像，将字体布局图像连同用户提示词输入到控制网络以生成控制向量，通过指导逐步降噪过程达到可控生成的目的，并通过字符感知损失来加强可控生成的效果。此外，本发明方法提出一种有效的参数微调策略，来避免生成模型过拟合或者灾难性遗忘在仅更新不到总参数的3％的情况下实现了连贯的文本生成，显著加速了模型的收敛过程。最后，对于目标区域生成部分，为减少背景部分带来的影响，使用背景重建机制来保留原始图中非目标区域的部分，减少背景信息的损失。

公开(公告)号：CN118261876A

公开(公告)日：2024-06-28

申请号：CN202410369607.0

申请日：2024-03-28

Applicant: 滨州魏桥国科高等技术研究院 ,  河北工业大学

Inventor： 陶显 ,  赵宏豹 ,  韩建文 ,  张华 ,  张正涛 ,  钟成 ,  林红权 ,  陈海永

IPC: G06T7/00 ,  G06T7/73 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开涉及图像处理的技术领域，公开了一种用于光伏产品的检测方法、装置及系统，检测方法包括：获取光伏产品的不同类型的图像；将不同类型的图像分别输入到对应的图像检测模型，利用每个图像检测模型获得对应类型的图像的初始检测结果；基于各个类型的图像的初始检测结果，确定出目标检测结果。上述检测方法使用光伏产品的不同类型的图像进行缺陷检测，这实现了多个不同维度的缺陷检测，能够更全面地检测产品可能存在的缺陷。并且，在利用每个图像检测模型获得对应类型的图像的初始检测结果之后，进一步地基于多个初始检测结果确定出目标检测结果，丰富了缺陷的判定条件，从而使最终的目标检测结果的准确率更高。

公开(公告)号：CN119338940A

公开(公告)日：2025-01-21

申请号：CN202411537210.4

申请日：2024-10-31

Applicant: 河北工业大学

Inventor： 杨亮 ,  吕泽鹏 ,  张华 ,  李林昊 ,  马子艺 ,  汪梦竹 ,  靳瑞勇 ,  卢金禹 ,  董纪悦

IPC: G06T11/00 ,  G06T5/50 ,  G06V10/764 ,  G06V10/40 ,  G06V10/28 ,  G06V10/82 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明属于图像生成技术领域，具体公开了一种基于扩散大模型的多模态场景融合方法。首先对扩散模型主干网络的权重矩阵进行奇异值分解，用于更新主干网络的权重矩阵；然后，将文本提示词输入到扩散模型中，生成文本条件图像；文本条件图像经过VAE解码和预处理，得到预处理的文本条件图像；将预处理的文本条件图像输入到预训练的视觉分类器中预测类别，得到预测标签；根据预测标签与真实标签计算更新损失，对扩散模型的参数进行更新，实现扩散模型的微调；最后，利用微调后的扩散模型生成场景融合图像；场景融合分为两个阶段，第一阶段是通过对背景图像和前景图像进行采样生成合并噪声图像，第二阶段是利用合并噪声图像迭代生成场景融合图像。该方法利用图像引导图像生成，实现前景图像与背景图像的无缝融合，同时利用控制信息引导图像生成，增强了场景融合的可控性。

公开(公告)号：CN119962571A

公开(公告)日：2025-05-09

申请号：CN202510048717.1

申请日：2025-01-13

Applicant: 河北工业大学

Inventor： 杨亮 ,  何振兴 ,  张华 ,  李林昊 ,  马子艺 ,  汪梦竹 ,  靳瑞勇 ,  卢金禹 ,  董纪悦

IPC: G06N3/042 ,  G06N3/0895 ,  G06N5/022 ,  G06F18/25 ,  G06F18/22

Abstract: 本发明属于自监督图网络表征技术领域，具体是一种基于子空间的自适应负样本调节的网络表征方法。首先，提取网络图中节点的属性信息及结构信息，得到网络图的属性矩阵和邻接矩阵；属性矩阵分别经过两个属性编码器，得到第一个视图和第二个视图的属性特征；邻接矩阵分别经过两个结构编码器，得到第一个视图和第二个视图的结构特征；将第一个视图的属性特征和结构特征进行拼接，得到第一个视图的节点特征；同理，得到第二个视图的节点特征；接着，利用两个视图的节点特征，构建亲和度矩阵；然后，基于自适应负样本调节的图对比学习，对属性编码器和结构编码器进行训练，根据对比学习损失函数计算训练损失；最后，将两个视图的节点特征进行融合，得到节点表征。在每轮训练过程中动态地为各个负样本对分配权重，权重越大越可能是假负样本对，以解决负样本中存在假负样本的问题，提高节点表征能力。