基于差分进化算法的神经架构搜索方法和系统

    公开(公告)号:CN118196600A

    公开(公告)日:2024-06-14

    申请号:CN202410615399.8

    申请日:2024-05-17

    Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。

    一种基于扩散进化算法的神经架构搜索方法

    公开(公告)号:CN119886226A

    公开(公告)日:2025-04-25

    申请号:CN202510370248.5

    申请日:2025-03-27

    Abstract: 本发明公开了一种基于扩散进化算法的神经架构搜索方法,该方法首先构建超网,该超网包括子网,每个子网通过连续编码为每条连接边上的每个操作赋予权重;然后获取不同类别的图片构建成数据集;最后对超网权重和子网编码进行交替优化,直至满足约束条件时停止优化,得到最优子网编码,进而得到神经网络的架构。本发明创新性地将扩散模型的迭代去噪机制与进化算法的全局搜索策略相融合,通过结合扩散模型的去噪机制与进化算法的全局搜索能力,构建超网并交替优化网络权重和子网编码;利用自适应噪声调度和密度估计,增强种群多样性,避免局部最优,能够更好地找到适合任务的最优神经网络架构。

    一种基于CLIP损失与感知损失的扩散模型LoRA微调优化方法及系统

    公开(公告)号:CN119478587A

    公开(公告)日:2025-02-18

    申请号:CN202510027124.7

    申请日:2025-01-08

    Abstract: 本发明提出了一种基于CLIP损失与感知损失的扩散模型LoRA微调优化方法及系统,所述方法包括:步骤1,在LoRA微调过程中,结合CLIP损失和感知损失,动态调整CLIP损失和感知损失的权重;步骤2,利用CLIP模型计算去噪后的中间图像与目标文本的语义相似度,并根据相似度差异优化扩散模型的噪声预测能力;步骤3,采用感知损失计算中间图像与目标图像在特征空间的差异,并优化扩散模型的噪声预测能力,提升生成图像的视觉质量与细节保真度;步骤4,根据训练进展调整是否启用CLIP损失和感知损失。通过引入CLIP损失,模型在微调训练过程中能够更好地将图像与文本进行对齐,使得生成的图像更加符合文本提示的描述。

    基于差分进化算法的神经架构搜索方法和系统

    公开(公告)号:CN118196600B

    公开(公告)日:2024-07-12

    申请号:CN202410615399.8

    申请日:2024-05-17

    Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。

Patent Agency Ranking