-
公开(公告)号:CN118377933A
公开(公告)日:2024-07-23
申请号:CN202410802106.7
申请日:2024-06-20
Applicant: 南京信息工程大学
IPC: G06F16/783 , G06V20/40 , G06V20/62 , G06V10/74 , G06V10/80
Abstract: 本发明提供了基于文本生成图像技术的文本视频检索优化方法,本发明利用Stable Diffusion文本生成图像模型,通过对数据集中的文本信息进行图像生成,将生成的图像信息作为视频帧加入训练集,从而有效扩充数据规模。本发明还将考虑将关键帧信息反向生成文本信息,进一步丰富文本数据集。基于扩充的数据集,本发明将设计新的损失函数,综合考虑视频的细粒度与粗粒度特征,优化文本视频检索模型的训练过程,提升检索效果。本发明通过Stable Diffusion驱动的数据增强及优化的损失函数设计,能够有效解决现有文本视频检索研究中的数据缺乏和模型训练不充分等问题,为多媒体内容分析和检索应用提供新的技术支撑。
-
公开(公告)号:CN118377933B
公开(公告)日:2024-08-16
申请号:CN202410802106.7
申请日:2024-06-20
Applicant: 南京信息工程大学
IPC: G06F16/783 , G06V20/40 , G06V20/62 , G06V10/74 , G06V10/80
Abstract: 本发明提供了基于文本生成图像技术的文本视频检索优化方法,本发明利用Stable Diffusion文本生成图像模型,通过对数据集中的文本信息进行图像生成,将生成的图像信息作为视频帧加入训练集,从而有效扩充数据规模。本发明还将考虑将关键帧信息反向生成文本信息,进一步丰富文本数据集。基于扩充的数据集,本发明将设计新的损失函数,综合考虑视频的细粒度与粗粒度特征,优化文本视频检索模型的训练过程,提升检索效果。本发明通过Stable Diffusion驱动的数据增强及优化的损失函数设计,能够有效解决现有文本视频检索研究中的数据缺乏和模型训练不充分等问题,为多媒体内容分析和检索应用提供新的技术支撑。
-
公开(公告)号:CN119623515A
公开(公告)日:2025-03-14
申请号:CN202510170315.9
申请日:2025-02-17
Applicant: 南京信息工程大学
IPC: G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/084 , G06N3/086 , G06F18/213 , G06F18/214 , G06F18/22 , G06F18/23 , G06F18/21
Abstract: 本发明提供了一种基于相似性代理辅助的演化神经架构搜索方法和系统,所述方法包括:步骤1,初始化一个架构种群,选择性能最佳的架构作为初始基准架构;步骤2,构建一种图神经网络变体作为特征提取器;步骤3,构建代理模型,通过联合损失函数训练代理模型;步骤4,根据适应度值保留高潜力架构,并对高潜力架构进行真实性能评估,将评估结果加入训练集;将当前种群与代理模型预测筛选出的高性能架构合并,通过环境选择策略更新种群;步骤5,重复步骤3和步骤4直至种群性能收敛,最终输出全局最优架构。本发明能够在有限的计算资源下快速搜索到高性能的神经网络架构,为神经网络的自动化设计与优化提供了一种高效、智能的新型解决方案。
-
公开(公告)号:CN118196600A
公开(公告)日:2024-06-14
申请号:CN202410615399.8
申请日:2024-05-17
Applicant: 南京信息工程大学
IPC: G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/006
Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。
-
公开(公告)号:CN119886228A
公开(公告)日:2025-04-25
申请号:CN202510370364.7
申请日:2025-03-27
Applicant: 南京信息工程大学
IPC: G06N3/0475 , G06N3/094 , G06N3/096 , G06N3/0464
Abstract: 本发明提供了一种基于架构蒸馏技术的生成对抗网络架构搜索方法和系统,所述方法定义一个搜索空间,构建融合了所有候选操作的超网,对超网进行预热训练,经过初始的预热训练后,评估子网的性能,筛选出对网络性能不利的操作并丢弃。在超网的训练过程中,通过架构知识蒸馏方法进行网络权重优化,设计匹配优化网络以有效地选择教师网络,使教师网络与学生子网达到最优匹配,通过架构蒸馏技术将教师网络的知识传递给其他子网,以指导超网训练。使用多目标优化策略挑选出超网中表现最佳的网络架构。本发明通过架构间的知识传递,提升子网的训练效果,相比传统的搜索方法具有更高的效率和更好的性能,能够更快地找到适合任务的最优神经网络架构。
-
公开(公告)号:CN119559286B
公开(公告)日:2025-04-15
申请号:CN202510108403.6
申请日:2025-01-23
Applicant: 南京信息工程大学
IPC: G06T11/00 , G06N3/0455 , G06N3/0495 , G06N3/086 , G06N3/096
Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统,所述方法采用超网技术同时训练多个网络架构,在架构搜索过程中结合演化遗传算法,并通过训练一个多层感知器作为得分预测器,以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构,这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练,可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法,不仅能够自动化设计高效的神经网络架构,还能实现潜在扩散模型的高效部署,为扩散模型的优化提供了一种全新的、低成本的解决方案。
-
公开(公告)号:CN119886226A
公开(公告)日:2025-04-25
申请号:CN202510370248.5
申请日:2025-03-27
Applicant: 南京信息工程大学
IPC: G06N3/0464 , G06N3/084 , G06N3/0455 , G06N3/086
Abstract: 本发明公开了一种基于扩散进化算法的神经架构搜索方法,该方法首先构建超网,该超网包括子网,每个子网通过连续编码为每条连接边上的每个操作赋予权重;然后获取不同类别的图片构建成数据集;最后对超网权重和子网编码进行交替优化,直至满足约束条件时停止优化,得到最优子网编码,进而得到神经网络的架构。本发明创新性地将扩散模型的迭代去噪机制与进化算法的全局搜索策略相融合,通过结合扩散模型的去噪机制与进化算法的全局搜索能力,构建超网并交替优化网络权重和子网编码;利用自适应噪声调度和密度估计,增强种群多样性,避免局部最优,能够更好地找到适合任务的最优神经网络架构。
-
公开(公告)号:CN119559286A
公开(公告)日:2025-03-04
申请号:CN202510108403.6
申请日:2025-01-23
Applicant: 南京信息工程大学
IPC: G06T11/00 , G06N3/0455 , G06N3/0495 , G06N3/086 , G06N3/096
Abstract: 本发明提供了一种基于演化神经架构搜索的轻量级潜在扩散模型设计方法及系统,所述方法采用超网技术同时训练多个网络架构,在架构搜索过程中结合演化遗传算法,并通过训练一个多层感知器作为得分预测器,以辅助演化遗传算法在大规模搜索空间中高效筛选出最优架构,这种方法显著降低了传统架构设计过程中所需的资源消耗和计算成本。本发明通过结合知识蒸馏技术引入了预训练好的教师模型来监督学生模型的训练,可以在保证潜在扩散模型性能稳定的同时将潜在扩散模型变得轻量化。通过该方法,不仅能够自动化设计高效的神经网络架构,还能实现潜在扩散模型的高效部署,为扩散模型的优化提供了一种全新的、低成本的解决方案。
-
公开(公告)号:CN118196600B
公开(公告)日:2024-07-12
申请号:CN202410615399.8
申请日:2024-05-17
Applicant: 南京信息工程大学
IPC: G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/006
Abstract: 本发明提供了基于差分进化算法的神经架构搜索方法和系统,所述方法首先定义了一个搜索空间,将所有候选操作糅合在一起构建超网,并使用连续数值进行编码。接着,利用训练数据及其标签来训练超网的网络权重。然后,我为超网内的每个子网设计了唯一的编码方式,并直接从超网获得网络权重。随后,使用差分进化算法优化子网的编码。最后,交替执行超网的网络权重优化和子网的编码优化。与使用梯度下降方法和遗传算法优化子网编码的方式不同,本发明的差分进化算法能够更充分地利用连续编码的矢量化信息。这种方法相比传统的优化方法具有更高的效率和更好的搜索性能,能够更快地找到适合任务的最优神经网络架构。
-
-
-
-
-
-
-
-