公开(公告)号：CN113835695A

公开(公告)日：2021-12-24

申请号：CN202111408005.4

申请日：2021-11-25

Applicant: 之江实验室

Inventor： 王宏升 ,  杨非 ,  华炜 ,  鲍虎军

IPC: G06F8/34 ,  G06F8/30 ,  G06N3/08

Abstract: 本发明公开了一种基于统一后端引擎的深度学习框架与硬件设备适配方法，包括如下步骤：S1：深度学习框架添加统一后端引擎；S2：硬件设备添加统一后端引擎；S3：转换计算图，将深度学习框架编译生成的计算图转换为统一后端引擎的中间表示；S4：编译中间表示，统一后端引擎在硬件设备上编译中间表示生成可执行对象；S5：运行可执行对象，深度学习框架在硬件设备上运行可执行对象；S6：统一后端引擎的内存管理。本发明打通了深度学习框架与硬件设备，将深度学习框架源码与芯片底层软件全面对接，尽可能最大限度地释放芯片的硬件能力，为端侧AI提供强劲算力。

公开(公告)号：CN112561040A

公开(公告)日：2021-03-26

申请号：CN202110209650.7

申请日：2021-02-25

Applicant: 之江实验室

Inventor： 王宏升

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种面向神经网络模型的滤波器分布感知训练加速方法及平台，引入基于滤波器关系的剪枝准则，构建可以随着滤波器分布的变化自适应地选择最合适剪枝准则的元滤波器剪枝框架，考虑了滤波器彼此之间的关联性；网络训练过程中，滤波器的裁剪准则随着滤波器分布的变化自适应地切换；裁剪后的模型可以加快更多的视觉任务的训练和推断过程。

公开(公告)号：CN112100383A

公开(公告)日：2020-12-18

申请号：CN202011202867.7

申请日：2020-11-02

Applicant: 之江实验室

Inventor： 王宏升 ,  王恩平 ,  单海军

IPC: G06F16/35 ,  G06F40/30 ,  G06N5/04

Abstract: 本发明公开了一种面向多任务语言模型的元‑知识微调方法及平台，该方法基于跨域的典型性分数学习，获得同类任务不同数据集上高度可转移的共有知识，即元‑知识，将不同数据集对应的不同域上的同类任务的学习过程进行相互关联和相互强化，提升语言模型应用中同类下游任务在不同域数据集上的微调效果，提升了同类任务通用语言模型的参数初始化能力和泛化能力。本发明是在下游任务跨域数据集上进行微调，微调所得的压缩模型的效果不受限于该类任务的特定数据集，在预训练语言模型基础上，通过元‑知识微调网络对下游任务进行微调，由此得到与数据集无关的同类下游任务语言模型。