公开(公告)号：CN113592077A

公开(公告)日：2021-11-02

申请号：CN202110895523.7

申请日：2021-08-05

Applicant: 哈尔滨工业大学

Inventor： 何慧 ,  杨润 ,  李言 ,  张伟哲 ,  方滨兴

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04 ,  G06F9/50

Abstract: 一种面向边缘智能的云边端DNN协同推理加速方法，属于DNN推理加速技术领域，用以解决现有的DNN推理任务的响应时间没有得到最大限度的减少的问题。本发明的技术要点包括：针对DAG形式的DNN模型，在原有的两层模型划分基础上，充分考虑云、边、端三层设备，设计了三层两阶段模型划分方法，提高了云边端计算资源的利用率和边缘服务器在极端情况下协同模型的可用性；在将DNN模型划分问题转化为最大流最小割问题的算法基础上，通过图压缩方法对DAG进行预处理，降低了模型划分算法的时间复杂度；进一步增加对于局部并行单元的处理方法，解决了算法在面对复杂DNN模型时的功能缺陷。本发明适用于边缘智能中对DNN模型进行实时动态调整。

公开(公告)号：CN113592077B

公开(公告)日：2024-04-05

申请号：CN202110895523.7

申请日：2021-08-05

Applicant: 哈尔滨工业大学

Inventor： 何慧 ,  杨润 ,  李言 ,  张伟哲 ,  方滨兴

IPC: G06N3/0464 ,  G06N3/08 ,  G06N5/04 ,  G06F9/50

Abstract: 一种面向边缘智能的云边端DNN协同推理加速方法，属于DNN推理加速技术领域，用以解决现有的DNN推理任务的响应时间没有得到最大限度的减少的问题。本发明的技术要点包括：针对DAG形式的DNN模型，在原有的两层模型划分基础上，充分考虑云、边、端三层设备，设计了三层两阶段模型划分方法，提高了云边端计算资源的利用率和边缘服务器在极端情况下协同模型的可用性；在将DNN模型划分问题转化为最大流最小割问题的算法基础上，通过图压缩方法对DAG进行预处理，降低了模型划分算法的时间复杂度；进一步增加对于局部并行单元的处理方法，解决了算法在面对复杂DNN模型时的功能缺陷。本发明适用于边缘智能中对DNN模型进行实时动态调整。