-
公开(公告)号:CN119623515A
公开(公告)日:2025-03-14
申请号:CN202510170315.9
申请日:2025-02-17
Applicant: 南京信息工程大学
IPC: G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/084 , G06N3/086 , G06F18/213 , G06F18/214 , G06F18/22 , G06F18/23 , G06F18/21
Abstract: 本发明提供了一种基于相似性代理辅助的演化神经架构搜索方法和系统,所述方法包括:步骤1,初始化一个架构种群,选择性能最佳的架构作为初始基准架构;步骤2,构建一种图神经网络变体作为特征提取器;步骤3,构建代理模型,通过联合损失函数训练代理模型;步骤4,根据适应度值保留高潜力架构,并对高潜力架构进行真实性能评估,将评估结果加入训练集;将当前种群与代理模型预测筛选出的高性能架构合并,通过环境选择策略更新种群;步骤5,重复步骤3和步骤4直至种群性能收敛,最终输出全局最优架构。本发明能够在有限的计算资源下快速搜索到高性能的神经网络架构,为神经网络的自动化设计与优化提供了一种高效、智能的新型解决方案。
-
公开(公告)号:CN118196600A
公开(公告)日:2024-06-14
申请号:CN202410615399.8
申请日:2024-05-17
Applicant: 南京信息工程大学
IPC: G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/006
Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。
-
公开(公告)号:CN119886226A
公开(公告)日:2025-04-25
申请号:CN202510370248.5
申请日:2025-03-27
Applicant: 南京信息工程大学
IPC: G06N3/0464 , G06N3/084 , G06N3/0455 , G06N3/086
Abstract: 本发明公开了一种基于扩散进化算法的神经架构搜索方法,该方法首先构建超网,该超网包括子网,每个子网通过连续编码为每条连接边上的每个操作赋予权重;然后获取不同类别的图片构建成数据集;最后对超网权重和子网编码进行交替优化,直至满足约束条件时停止优化,得到最优子网编码,进而得到神经网络的架构。本发明创新性地将扩散模型的迭代去噪机制与进化算法的全局搜索策略相融合,通过结合扩散模型的去噪机制与进化算法的全局搜索能力,构建超网并交替优化网络权重和子网编码;利用自适应噪声调度和密度估计,增强种群多样性,避免局部最优,能够更好地找到适合任务的最优神经网络架构。
-
公开(公告)号:CN119478587A
公开(公告)日:2025-02-18
申请号:CN202510027124.7
申请日:2025-01-08
Applicant: 南京信息工程大学
IPC: G06V10/774 , G06V10/80 , G06N3/082
Abstract: 本发明提出了一种基于CLIP损失与感知损失的扩散模型LoRA微调优化方法及系统,所述方法包括:步骤1,在LoRA微调过程中,结合CLIP损失和感知损失,动态调整CLIP损失和感知损失的权重;步骤2,利用CLIP模型计算去噪后的中间图像与目标文本的语义相似度,并根据相似度差异优化扩散模型的噪声预测能力;步骤3,采用感知损失计算中间图像与目标图像在特征空间的差异,并优化扩散模型的噪声预测能力,提升生成图像的视觉质量与细节保真度;步骤4,根据训练进展调整是否启用CLIP损失和感知损失。通过引入CLIP损失,模型在微调训练过程中能够更好地将图像与文本进行对齐,使得生成的图像更加符合文本提示的描述。
-
公开(公告)号:CN118196600B
公开(公告)日:2024-07-12
申请号:CN202410615399.8
申请日:2024-05-17
Applicant: 南京信息工程大学
IPC: G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/006
Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。
-
-
-
-