专利检索 ap:("浙江大学") AND inv:"叶徳仕" 第 1 页

1.

发明公开
一种基于端边云架构的神经网络多任务推理方法和装置审中-实审

公开(公告)号：CN117910572A

公开(公告)日：2024-04-19

申请号：CN202311716315.1

申请日：2023-12-13

申请人： 浙江大学

发明人： 潘兆丰 , 叶徳仕 , 陈佳伟 , 王灿

IPC分类号： G06N5/04 , G06N3/092 , G06N3/0985

摘要： 一种基于端边云架构的神经网络多任务推理方法和装置，其方法包括：将用于推理的深度神经网络模型，数据集同步至本地、边缘、云设备；计算出每一层的输入张量大小以及每一层在不同设备上的推理时间；将模型切割成两个部分，计算神经网络在切割点前在本地推理的总时间，计算在切割点后在边缘或云设备上推理的总时间；多任务推理包含多个相同尺寸的推理任务，不同任务可以有不同的切割点；每个任务首先在本地运行至切割点，得到中间结果后发送至边缘或云设备上继续运行，得出最终的推理结果；同一设备同一时间只能运行一项任务，求解目标是所有任务完成总时间的最小值；训练深度强化学习模型，并应决定分割点、执行机器和执行顺序。