公开(公告)号：CN115169561A

公开(公告)日：2022-10-11

申请号：CN202210526569.6

申请日：2022-05-16

Applicant: 清华大学

Inventor： 周悦芝 ,  梁志伟

IPC: G06N5/04 ,  G06N3/04 ,  G06N3/08 ,  G16Y40/20

Abstract: 本公开提出一种用于物联网的多分支网络协同推理方法及系统，属于物联网设备的计算机视觉算法加速领域。其中，所述方法包括：在物联网设备上将待预测样本输入预设的多分支网络的第一个分支，获得对应的初始预测结果和不确信度；根据所述不确信度，在预设的所述多分支网络的分发方案中获取所述样本对应的输出分支；根据预设的多分支网络的模型划分方案，利用所述输出分支得到所述样本的最终预测结果；所述模型划分方案包括所述多分支网络各分支在所述物联网设备和对应服务器上的层次计算分配结果。本公开可实现按需调整的多分支网络协同推理，解决跨设备服务器间进行分布式多分支网络推理的挑战，保证物联网设备在高度动态的环境中稳定地提供服务。

公开(公告)号：CN114972850A

公开(公告)日：2022-08-30

申请号：CN202210507991.7

申请日：2022-05-11

Applicant: 清华大学

Inventor： 周悦芝 ,  梁志伟

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/20 ,  G06K9/62

Abstract: 本公开提出一种多分支网络的分发推理方法、装置、电子设备及存储介质，属于计算机视觉及深度学习领域。其中，所述方法包括：获取待推理图片并进行预处理；将预处理完毕的所述图片输入预设的多分支网络的第一个分支，得到所述图片的初始预测结果；利用初始预测结果，计算所述图片的不确信度；按照预设的不确信度级别划分结果，确定所述图片对应的不确信度级别；利用预设的所述多分支网络的分发方案，根据不确信度级别确定所述图片在所述分发方案中对应的输出分支，以得到所述图片最终的预测结果。本公开在不影响模型精度的同时可为图像分类和目标检测等计算机视觉神经网络提供加速效果，促进了计算机视觉应用的发展。

公开(公告)号：CN114972850B

公开(公告)日：2024-07-12

申请号：CN202210507991.7

申请日：2022-05-11

Applicant: 清华大学

Inventor： 周悦芝 ,  梁志伟

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/20 ,  G06N3/0464 ,  G06N3/096

Abstract: 本公开提出一种多分支网络的分发推理方法、装置、电子设备及存储介质，属于计算机视觉及深度学习领域。其中，所述方法包括：获取待推理图片并进行预处理；将预处理完毕的所述图片输入预设的多分支网络的第一个分支，得到所述图片的初始预测结果；利用初始预测结果，计算所述图片的不确信度；按照预设的不确信度级别划分结果，确定所述图片对应的不确信度级别；利用预设的所述多分支网络的分发方案，根据不确信度级别确定所述图片在所述分发方案中对应的输出分支，以得到所述图片最终的预测结果。本公开在不影响模型精度的同时可为图像分类和目标检测等计算机视觉神经网络提供加速效果，促进了计算机视觉应用的发展。