-
公开(公告)号：CN109754079A
公开(公告)日：2019-05-14
申请号：CN201811527874.7
申请日：2018-12-13
Applicant: 中南大学
IPC: G06N3/08
Abstract: 本发明公开了一种基于参数重要性克服灾难性遗忘的方法，首先训练完第一个任务后，使用第一个任务的测试数据对模型的性能进行测试，然后使用第一个任务的训练数据，利用本发明提出的计算参数重要性的方法计算网络模型中每个参数对于该任务的重要性；然后将本发明提出的方法作为一个正则项添加到模型中的损失函数，训练完成后分别使用当前任务及之前所有任务的测试数据对该模型的性能进行测试；之后再使用新任务的训练数据按照本发明提出的方法计算参数重要性，并与之前计算的参数重要性矩阵进行累加；最后每当进来一个新任务对其进行训练时，重复以上步骤即可。实验证明，本发明提出的方法能够有效减轻深度学习模型中灾难性遗忘的问题。
-
公开(公告)号：CN109657791A
公开(公告)日：2019-04-19
申请号：CN201811532220.3
申请日：2018-12-14
Applicant: 中南大学
Abstract: 本发明公开了一种基于大脑神经突触记忆机制的面向开放世界连续学习方法，首先利用深度卷积神经网络建立感知模块，对当前视觉任务进行学习；其次，构建网络重组模块，在已训练好的模型上进行突触的修剪和强化，从而减少突触的连接和强化学习到的知识；最后，在学习新的视觉任务时对前面记忆进行巩固，通过其保护新任务的信息对前面任务的干扰。本发明在一个任务数据上训练完成后，重组模块会重新组织网络，修剪掉不重要的参数，提升参数的可塑性，同时为了保证当前任务的性能，通过强化重要的参数来巩固当前的知识，并更新网络；在学习新的任务时，通过保留原任务参数空间下的最大响应图来指导新任务学习，从而避免灾难性遗忘。
-
公开(公告)号：CN109725531B
公开(公告)日：2021-09-21
申请号：CN201811526912.7
申请日：2018-12-13
Applicant: 中南大学
IPC: G05B13/04
Abstract: 本发明公开了一种基于门控制机制的连续学习方法，首先基于深度神经网络模型，针对当前任务建立相应的模型；其次根据新的任务建立新的特定的深度模型，并让新模型与原来任务模型间建立层间对应的连接，使得新旧模型同层特征间能够汇聚到新模型中；然后，在同层连接构建基于门控制的机制，对新旧任务间的特征关系进行学习，筛选旧任务中对新任务有用的信息；最后，建立好上述模型后，在新任务数据上训练模型。本发明是当前面向通用的任务易发生灾难性遗忘以及难以迁移其他任务知识条件下的一种有效、高精确性的、分布式的连续学习方法。
-
公开(公告)号：CN109725531A
公开(公告)日：2019-05-07
申请号：CN201811526912.7
申请日：2018-12-13
Applicant: 中南大学
IPC: G05B13/04
Abstract: 本发明公开了一种基于门控制机制的连续学习方法，首先基于深度神经网络模型，针对当前任务建立相应的模型；其次根据新的任务建立新的特定的深度模型，并让新模型与原来任务模型间建立层间对应的连接，使得新旧模型同层特征间能够汇聚到新模型中；然后，在同层连接构建基于门控制的机制，对新旧任务间的特征关系进行学习，筛选旧任务中对新任务有用的信息；最后，建立好上述模型后，在新任务数据上训练模型。本发明是当前面向通用的任务易发生灾难性遗忘以及难以迁移其他任务知识条件下的一种有效、高精确性的、分布式的连续学习方法。
-
-
-
Search Results
4
records
(took 0.019 seconds)
