公开(公告)号：CN119559286A

公开(公告)日：2025-03-04

申请号：CN202510108403.6

申请日：2025-01-23

Applicant: 南京信息工程大学

Inventor： 焦春晓 ,  薛羽 ,  王尧 ,  田青 ,  梅园 ,  韩进 ,  金婷 ,  王修来

IPC: G06T11/00 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/086 ,  G06N3/096

Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统，所述方法采用超网技术同时训练多个网络架构，在架构搜索过程中结合演化遗传算法，并通过训练一个多层感知器作为得分预测器，以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构，这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练，可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法，不仅能够自动化设计高效的神经网络架构，还能实现潜在扩散模型的高效部署，为扩散模型的优化提供了一种全新的、低成本的解决方案。

公开(公告)号：CN119559286B

公开(公告)日：2025-04-15

申请号：CN202510108403.6

申请日：2025-01-23

Applicant: 南京信息工程大学

Inventor： 焦春晓 ,  薛羽 ,  王尧 ,  田青 ,  梅园 ,  韩进 ,  金婷 ,  王修来

IPC: G06T11/00 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/086 ,  G06N3/096

Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统，所述方法采用超网技术同时训练多个网络架构，在架构搜索过程中结合演化遗传算法，并通过训练一个多层感知器作为得分预测器，以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构，这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练，可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法，不仅能够自动化设计高效的神经网络架构，还能实现潜在扩散模型的高效部署，为扩散模型的优化提供了一种全新的、低成本的解决方案。