公开(公告)号：CN114662690B

公开(公告)日：2022-09-13

申请号：CN202210547606.1

申请日：2022-05-20

Applicant: 南京大学

Inventor： 许封元 ,  吴昊 ,  柯晓鹏 ,  赵鑫 ,  姚荣春

IPC: G06N3/10 ,  G06F9/50 ,  G06F11/34 ,  H04L41/042 ,  H04L41/044 ,  H04L41/08 ,  H04L41/16 ,  H04W84/18 ,  G06N3/08 ,  G06N3/04 ,  G06N5/04

Abstract: 本发明涉及一种面向深度学习Transformer类模型的移动设备协同推断系统，包括如下步骤：准备阶段：评估可用硬件资源，确定切分粒度，切片并分发至各设备。部署阶段：通过DNS组网来控制设备进行异构设备的协同推断。各待推断设备均部署推断服务程序。控制节点发送待推断样本到各设备，当前节点将中间结果传递至负责下一个模型切片的节点，以此类推，直至最后一个节点完成推理，再将最终结果发送给控制节点输出。避免因为整个Transformer模型占用空间较大而单个设备不能运行。

公开(公告)号：CN114662690A

公开(公告)日：2022-06-24

申请号：CN202210547606.1

申请日：2022-05-20

Applicant: 南京大学

Inventor： 许封元 ,  吴昊 ,  柯晓鹏 ,  赵鑫 ,  姚荣春

IPC: G06N3/10 ,  G06F9/50 ,  G06F11/34 ,  H04L41/042 ,  H04L41/044 ,  H04L41/08 ,  H04L41/16 ,  H04W84/18 ,  G06N3/08 ,  G06N3/04 ,  G06N5/04

Abstract: 本发明涉及一种面向深度学习Transformer类模型的移动设备协同推断系统，包括如下步骤：准备阶段：评估可用硬件资源，确定切分粒度，切片并分发至各设备。部署阶段：通过DNS组网来控制设备进行异构设备的协同推断。各待推断设备均部署推断服务程序。控制节点发送待推断样本到各设备，当前节点将中间结果传递至负责下一个模型切片的节点，以此类推，直至最后一个节点完成推理，再将最终结果发送给控制节点输出。避免因为整个Transformer模型占用空间较大而单个设备不能运行。