通过梯度稀疏从祖先选择学习基因构建后代模型的方法

    公开(公告)号:CN117172283B

    公开(公告)日:2024-04-26

    申请号:CN202311221665.0

    申请日:2023-09-21

    Applicant: 东南大学

    Inventor: 耿新 林淑霞 杨旭

    Abstract: 本发明提供了通过梯度稀疏从祖先选择学习基因构建后代模型的方法,包括:构建包含稳定模块和弹性模块的祖先模型;稳定模块的参数是通过梯度稀疏选择的祖先模型见过的所有任务的共性知识,能够用来适应各种下游任务,作为祖先模型的学习基因库;弹性模块的参数是用来适应新任务,获取新任务的知识;后代模型通过祖先模型的稳定模块来初始化;使用“门控制”模块对稳定模块的梯度进行稀疏处理,用来保留所有见过任务的共性参数,构建学习基因库,使得由稳定模块初始化的后代模型能够更好地适应新的任务。基于本发明方法,后代模型可以在从未见过的任务(包含少样本数据的任务)上快速收敛并且有比较好的效果。

    一种基于架构搜索和自知识蒸馏的学习基因继承方法

    公开(公告)号:CN117195951A

    公开(公告)日:2023-12-08

    申请号:CN202311232774.2

    申请日:2023-09-22

    Applicant: 东南大学

    Inventor: 耿新 时博宇 杨旭

    Abstract: 本发明提供一种基于架构搜索和自知识蒸馏的学习基因继承方法,为后代网络搭建超网络;随机选取增强后的数据输入超网络和祖先网络;计算超网络与祖先网络特征图的差异来更新超网络的参数;从超网络中搜索相似度最高的后代网络架构。随机选取少量下游任务样本增强后输入后代网络,输出样本类别预测概率;输出后代网络中继承学习基因的层和未继承学习基因的层的特征图的相似度来蒸馏学习基因;利用分类和相似度损失更新后代网络。本发明方法即使在噪声数据上也具有优秀的分类性能;和随机初始化方法相比,在达到相似的分类精度时,需要更少的分类数据;在少数精细标注的数据条件下,本发明方法能快速训练自动生成的后代网络使其具有较高的分类性能。

    通过梯度稀疏从祖先选择学习基因构建后代模型的方法

    公开(公告)号:CN117172283A

    公开(公告)日:2023-12-05

    申请号:CN202311221665.0

    申请日:2023-09-21

    Applicant: 东南大学

    Inventor: 耿新 林淑霞 杨旭

    Abstract: 本发明提供了通过梯度稀疏从祖先选择学习基因构建后代模型的方法,包括:构建包含稳定模块和弹性模块的祖先模型;稳定模块的参数是通过梯度稀疏选择的祖先模型见过的所有任务的共性知识,能够用来适应各种下游任务,作为祖先模型的学习基因库;弹性模块的参数是用来适应新任务,获取新任务的知识;后代模型通过祖先模型的稳定模块来初始化;使用“门控制”模块对稳定模块的梯度进行稀疏处理,用来保留所有见过任务的共性参数,构建学习基因库,使得由稳定模块初始化的后代模型能够更好地适应新的任务。基于本发明方法,后代模型可以在从未见过的任务(包含少样本数据的任务)上快速收敛并且有比较好的效果。

    低氮燃烧循环流化床锅炉的燃烧与SNCR脱硝协同优化方法

    公开(公告)号:CN108870384B

    公开(公告)日:2019-07-30

    申请号:CN201810401033.5

    申请日:2018-04-28

    Applicant: 东南大学

    Abstract: 本发明公开一种低氮燃烧循环流化床锅炉的燃烧与SNCR脱硝协同优化方法,在低氮燃烧循环流化床锅炉炉膛内水冷壁区域敷设绝热材料;首先借助CFD软件对锅炉进行炉膛燃烧和旋风分离器处SNCR脱硝反应的全系统数值模拟,然后根据锅炉实际工况制定绝热材料布置方案、代入CFD软件中进行设计验证,在满足超低排放的基础上,以炉膛出口的焦炭质量浓度与旋风分离器出口的氨逃逸量作为评价指标确定绝热材料最终的敷设位置及敷设面积。采取在循环流化床锅炉水冷壁区域敷设绝热材料的方法,提高了进入旋风分离器内的烟气温度,可提高SNCR脱硝效率,避免过量喷氨;同时,敷设绝热材料实现了温度上升,降低了炉膛处口处的飞灰含碳量,实现了燃烧与脱硝的协同优化。

    一种基于可线性扩展学习基因的模型初始化方法

    公开(公告)号:CN117273068B

    公开(公告)日:2024-04-16

    申请号:CN202311264810.3

    申请日:2023-09-28

    Applicant: 东南大学

    Inventor: 耿新 夏诗禹 杨旭

    Abstract: 本发明提供了一种基于可线性扩展学习基因的模型初始化方法,包括:首先创建一个由学习基因线性扩展的辅助Transformer,通过蒸馏方法训练Transformer;然后通过线性扩展训练完毕的学习基因来初始化不同深度的Transformer,以适应不同的下游任务。本发明方法训练一个通用的、可线性扩展的学习基因,该学习基因可用于初始化不同深度的后代模型,同时综合考虑到模型的性能和资源问题,不需要再对各特定模型进行预训练;从祖先模型中提炼出学习基因,之后就不再需要祖先模型,节省额外开销。采用本发明方法初始化不同深度的Transformer,在下游任务上表现出良好的性能。

    一种具有隧道结结构的氮极性面发光二极管

    公开(公告)号:CN103489975B

    公开(公告)日:2016-09-07

    申请号:CN201310464192.7

    申请日:2013-10-08

    Applicant: 东南大学

    Inventor: 张雄 杨旭 崔一平

    Abstract: 本发明公开了一种具有隧道结结构的氮极性面发光二极管,包括由下至上依次设置的蓝宝石衬底、低温成核层、非掺杂半导体层、n型半导体层、多量子阱有源层、p‑AlGaN电子阻挡层、p型半导体层、p+‑GaN层、非掺杂InxAlyGa1‑x‑yN层、n型超晶格结构层和金属电极,所述p+‑GaN层、非掺杂InxAlyGa1‑x‑yN层和n型超晶格结构层共同构成p‑i‑n隧道结结构。本发明利用p‑i‑n隧道结结构作为LED芯片顶部的欧姆接触层,既可以提高LED器件电流扩展能力,从而降低整个芯片的开启电压,又能有效地提高芯片的光输出功率。

    一种具有隧道结结构的氮极性面发光二极管

    公开(公告)号:CN103489975A

    公开(公告)日:2014-01-01

    申请号:CN201310464192.7

    申请日:2013-10-08

    Applicant: 东南大学

    Inventor: 张雄 杨旭 崔一平

    CPC classification number: H01L33/14

    Abstract: 本发明公开了一种具有隧道结结构的氮极性面发光二极管,包括由下至上依次设置的蓝宝石衬底、低温成核层、非掺杂半导体层、n型半导体层、多量子阱有源层、p-AlGaN电子阻挡层、p型半导体层、p+-GaN层、非掺杂InxAlyGa1-x-yN层、n型超晶格结构层和金属电极,所述p+-GaN层、非掺杂InxAlyGa1-x-yN层和n型超晶格结构层共同构成p-i-n隧道结结构。本发明利用p-i-n隧道结结构作为LED芯片顶部的欧姆接触层,既可以提高LED器件电流扩展能力,从而降低整个芯片的开启电压,又能有效地提高芯片的光输出功率。

Patent Agency Ranking