公开(公告)号：CN111444019B

公开(公告)日：2024-01-26

申请号：CN202010240843.4

申请日：2020-03-31

Applicant: 中国科学院自动化研究所

Inventor： 朱凤华 ,  韦越 ,  陈世超 ,  熊刚 ,  叶佩军 ,  商秀芹 ,  胡斌 ,  王飞跃

IPC: G06F9/50 ,  G06N3/098

Abstract: 本发明涉及一种云端协同的深度学习模型分布式训练方法及系统，所述训练方法包括：客户端接收用户输入的关于深度学习网络的训练任务；客户端根据所述训练任务调取网络配置和训练信息；云服务器根据网络配置和本地设备的资源情况，筛选出能够用于训练的各训练本地设备；云服务器根据所述网络配置和训练信息，生成多个训练子任务；云服务器将各训练子任务分别发送到不同的训练本地设备中；云服务器与各训练本地设备根据网络配置，对对应的训练子任务进行训练，以实现对深度学习网络的分布式训练。本发明通过云端协同实现了分布式资源的发现和筛选，从而可在深度学习模型分布式训练时合理有效的利用资源。

公开(公告)号：CN112183748A

公开(公告)日：2021-01-05

申请号：CN202011065618.8

申请日：2020-09-30

Applicant: 中国科学院自动化研究所

Inventor： 朱凤华 ,  韦越 ,  陈世超 ,  陈圆圆 ,  吕宜生 ,  熊刚 ,  叶佩军 ,  王飞跃

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及深度学习技术领域，具体涉及一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备，旨在减轻模型对资源的占用。本发明的压缩方法包括：对模型进行稀疏正则化训练得到待压缩模型；根据待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分；根据重要性评分以及预设的剪枝率设定重要性阈值；将重要性评分低于重要性阈值的滤波器，以及该滤波器对应的BN层参数一并剪除，获得剪枝后的模型。还可以对剪枝后的模型进行微调，以保证模型精度不低于预设的精度。本发明在不影响模型性能的前提下，实现了对模型参数量与计算量的大幅压缩，可以很好地减轻模型对资源的占用问题，使得深度学习模型能在资源受限的边缘计算设备上运行。

公开(公告)号：CN111444019A

公开(公告)日：2020-07-24

申请号：CN202010240843.4

申请日：2020-03-31

Applicant: 中国科学院自动化研究所

Inventor： 朱凤华 ,  韦越 ,  陈世超 ,  熊刚 ,  叶佩军 ,  商秀芹 ,  胡斌 ,  王飞跃

IPC: G06F9/50 ,  G06N3/08

Abstract: 本发明涉及一种云端协同的深度学习模型分布式训练方法及系统，所述训练方法包括：客户端接收用户输入的关于深度学习网络的训练任务；客户端根据所述训练任务调取网络配置和训练信息；云服务器根据网络配置和本地设备的资源情况，筛选出能够用于训练的各训练本地设备；云服务器根据所述网络配置和训练信息，生成多个训练子任务；云服务器将各训练子任务分别发送到不同的训练本地设备中；云服务器与各训练本地设备根据网络配置，对对应的训练子任务进行训练，以实现对深度学习网络的分布式训练。本发明通过云端协同实现了分布式资源的发现和筛选，从而可在深度学习模型分布式训练时合理有效的利用资源。