公开(公告)号：CN117172283B

公开(公告)日：2024-04-26

申请号：CN202311221665.0

申请日：2023-09-21

Applicant: 东南大学

Inventor： 耿新 ,  林淑霞 ,  杨旭

IPC: G06N3/0442 ,  G06N3/0985

Abstract: 本发明提供了通过梯度稀疏从祖先选择学习基因构建后代模型的方法，包括：构建包含稳定模块和弹性模块的祖先模型；稳定模块的参数是通过梯度稀疏选择的祖先模型见过的所有任务的共性知识，能够用来适应各种下游任务，作为祖先模型的学习基因库；弹性模块的参数是用来适应新任务，获取新任务的知识；后代模型通过祖先模型的稳定模块来初始化；使用“门控制”模块对稳定模块的梯度进行稀疏处理，用来保留所有见过任务的共性参数，构建学习基因库，使得由稳定模块初始化的后代模型能够更好地适应新的任务。基于本发明方法，后代模型可以在从未见过的任务(包含少样本数据的任务)上快速收敛并且有比较好的效果。

公开(公告)号：CN117172283A

公开(公告)日：2023-12-05

申请号：CN202311221665.0

申请日：2023-09-21

Applicant: 东南大学

Inventor： 耿新 ,  林淑霞 ,  杨旭

IPC: G06N3/0442 ,  G06N3/0985

Abstract: 本发明提供了通过梯度稀疏从祖先选择学习基因构建后代模型的方法，包括：构建包含稳定模块和弹性模块的祖先模型；稳定模块的参数是通过梯度稀疏选择的祖先模型见过的所有任务的共性知识，能够用来适应各种下游任务，作为祖先模型的学习基因库；弹性模块的参数是用来适应新任务，获取新任务的知识；后代模型通过祖先模型的稳定模块来初始化；使用“门控制”模块对稳定模块的梯度进行稀疏处理，用来保留所有见过任务的共性参数，构建学习基因库，使得由稳定模块初始化的后代模型能够更好地适应新的任务。基于本发明方法，后代模型可以在从未见过的任务(包含少样本数据的任务)上快速收敛并且有比较好的效果。