-
公开(公告)号:CN110598848A
公开(公告)日:2019-12-20
申请号:CN201910758097.5
申请日:2019-08-16
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种基于通道剪枝的用于加速迁移学习的方法,所述方法包括下述步骤:步骤1:建立基线模型;步骤2:对源域和目标域之间的可迁移通道进行评估,获取每个通道的重要度;步骤3:进行通道剪枝;步骤4:微调训练,使经过剪枝的模型收敛;步骤5:重复步骤2至4,直到经过剪枝的模型在目标域上的准确率和模型所需要的计算量满足预定要求。本发明的基于通道剪枝的迁移学习加速方法,将迁移学习的过程和模型剪枝过程融合为一个整体框架,在迁移的过程中同时考虑到目标任务上的性能,而在剪枝的过程中也同时考虑到移除那些对原任务和目标任务都不重要的参数。
-
公开(公告)号:CN111190487A
公开(公告)日:2020-05-22
申请号:CN201911391335.X
申请日:2019-12-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种建立数据分析模型的方法,包括基于当前的用户数据,在服务器端采用深度神经网络学习和预训练初始云模型,并将初始云模型下发给不同的用户;用户根据自身数据特性,基于接收到的云模型构建其自身用户模型同时采用深度神经网络学习和训练,并将训练后的用户模型回传给服务器;服务器将接收到的用户模型基于预设的周期进行融合,得到新的云模型;用户基于接收到的新的云模型,调整其自身用户模型同时采用深度神经网络学习和训练,并将训练后的用户模型回传给服务器。基于本发明方法构建的模型框架可以通过结合联邦学习和同态加密技术,可以解决数据孤岛和个性化的问题,通过汇总来自不同组织机构的数据,构建强大的机器学习模型,同时还能保护用户的隐私。
-