公开(公告)号：CN113222020A

公开(公告)日：2021-08-06

申请号：CN202110521364.4

申请日：2021-05-13

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 王杰龙 ,  安竹林 ,  程坦 ,  徐勇军

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明公开了一种基于数据转换和知识蒸馏的域增量学习方法，该方法用旧模型识别新数据，将其划分成公有数据和私有数据两部分，然后采用迁移学习将私有数据转换成公有数据，最后对公有数据和私有数据采用不同的损失优化训练模型。本发明所述的一种基于数据转换和知识蒸馏的域增量学习方法，通过对于旧模型无法正确识别的私有数据，采用交叉熵损失计算，能够学习新的知识；通过对旧模型可以正确识别的公有数据和转换数据，采用蒸馏损失计算，用旧模型指导新模型的学习，能够对旧知识进行记忆；通过两种损失优化训练模型，能够实现新旧任务的性能平衡；本方法无需存储旧数据，减小了数据储存的开销。

公开(公告)号：CN112308211A

公开(公告)日：2021-02-02

申请号：CN202011186818.9

申请日：2020-10-29

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 王杰龙 ,  安竹林 ,  程坦 ,  徐勇军

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种基于元学习的领域增量方法，包括如下步骤：S1、构建预训练模型；S2、用预训练模型训练旧模型；S3、训练新模型。本发明采用随机保留的5％的记忆数据和新数据混合微调训练新模型，同时还采用交叉熵损失函数和知识蒸馏损失函数联合指导新模型的学习，使其在记住旧领域的分类知识的同时，学习新领域数据的分类知识，大大减少数据存储和训练时间的开销。