端边云计算环境中的DNN协同推理加速方法、设备及介质

    公开(公告)号:CN116894469A

    公开(公告)日:2023-10-17

    申请号:CN202311163761.4

    申请日:2023-09-11

    Abstract: 本发明涉及深度学习技术领域,尤其涉及一种端边云计算环境中的DNN协同推理加速方法、设备及介质。根据多分支DNN的层类型和计算平台的计算资源,构建目标时延预测模型;基于目标时延预测模型,预测DNN层的执行时延;获取目标平台当前可用带宽资源和可用计算资源,并将可用带宽资源、可用计算资源、截止时延和网络类型,输入最佳退出点预测模型,预测最佳退出点;根据最佳退出点提取多分支DNN,并确定提取后的多分支DNN中的节点划分结果;根据节点划分结果,将提取后的所述多分支DNN中的各个节点,分配至节点划分结果对应的目标平台,目标平台包括终端设备、云服务器和边缘服务器中的至少一个。解决了如何提高端边云计算环境中的DNN协同推理速度的问题。

    端边云计算环境中的DNN协同推理加速方法、设备及介质

    公开(公告)号:CN116894469B

    公开(公告)日:2023-12-15

    申请号:CN202311163761.4

    申请日:2023-09-11

    Abstract: 本发明涉及深度学习技术领域,尤其涉及一种端边云计算环境中的DNN协同推理加速方法、设备及介质。根据多分支DNN的层类型和计算平台的计算资源,构建目标时延预测模型;基于目标时延预测模型,预测DNN层的执行时延;获取目标平台当前可用带宽资源和可用计算资源,并将可用带宽资源、可用计算资源、截止时延和网络类型,输入最佳退出点预测模型,预测最佳退出点;根据最佳退出点提取多分支DNN,并确定提取后的多分支DNN中的节点划分结果;根据节点划分结果,将提取后的所述多分支DNN中的各个节点,分配至节点划分结果对应的目标平台,目标平台包括终端设备、云服务器和边缘服务器中的(56)对比文件CN 115841590 A,2023.03.24CN 116187429 A,2023.05.30CN 116227558 A,2023.06.06CN 116341624 A,2023.06.27US 2021056357 A1,2021.02.25US 2021247246 A1,2021.08.12US 2021289456 A1,2021.09.16US 2022358358 A1,2022.11.10WO 2022111002 A1,2022.06.02WO 2022252713 A1,2022.12.08WO 2023091019 A1,2023.05.25刘国志等“.车辆边缘计算环境下基于深度强化学习的服务卸载方法”《.计算机集成制造系统》.2022,第28卷(第10期),第3304-3315.guozhi liu等“.An adaptive DNNinference acceleration framework withend-edge-cloud collaborative computing”.《Future Generation Computer Systems》.2023,第140卷第422-435页.Hsu TzHeng等“.A Cloud-Edge-Smart IoTArchitecture for Speeding Up theDeployment of Neural Network Models withTransfer Learning Techniques”.《Electronics》.2022,第11卷(第14期),第1-12页.Enzo Baccarelli等.“Learning-in-the-Fog(LiFo):Deep Learning Meets FogComputing for the Minimum-EnergyDistributed Early-Exit of Inference inDelay-Critical IoT Realms”《.IEEE Access》.2021,第9卷第25716-25757页.郭永安等“.基于边端协同的CNN推理加速框架”《.南京邮电大学学报(自然科学版)》.2023,第43卷(第3期),第68-77页.

Patent Agency Ranking