公开(公告)号：CN117762602B

公开(公告)日：2024-05-07

申请号：CN202410198709.0

申请日：2024-02-22

Applicant: 北京大学

Inventor： 刘譞哲 ,  徐大亮 ,  李晴 ,  马郓 ,  金鑫 ,  黄罡

IPC: G06F9/48 ,  G06F9/50 ,  G06N3/063 ,  G06N3/098

Abstract: 本申请提供了一种面向边缘异构硬件的深度学习级联任务调度方法及装置，所述方法包括：获取响应时间要求，以及，获取待处理的视频帧；预测视频帧对应的级联任务图，所述级联任务图表征按照顺序执行的多个深度学习网络任务，在级联任务图中一个深度学习网络任务的输出作为另一个深度学习网络任务的输入；根据响应时间要求，将级联任务图与离线级联任务图模板进行匹配；在级联任务图与离线级联任务图模板至少部分匹配的情况下，按照匹配的离线级联任务图模板对应的调度策略，将级联任务图中的多个深度学习网络任务调度到异构硬件上执行。如此，优化了级联任务场景下的多个深度学习网络任务的执行，实现级联任务的高吞吐量和高效率调度。

公开(公告)号：CN117762602A

公开(公告)日：2024-03-26

申请号：CN202410198709.0

申请日：2024-02-22

Applicant: 北京大学

Inventor： 刘譞哲 ,  徐大亮 ,  李晴 ,  马郓 ,  金鑫 ,  黄罡

IPC: G06F9/48 ,  G06F9/50 ,  G06N3/063 ,  G06N3/098

Abstract: 本申请提供了一种面向边缘异构硬件的深度学习级联任务调度方法及装置，所述方法包括：获取响应时间要求，以及，获取待处理的视频帧；预测视频帧对应的级联任务图，所述级联任务图表征按照顺序执行的多个深度学习网络任务，在级联任务图中一个深度学习网络任务的输出作为另一个深度学习网络任务的输入；根据响应时间要求，将级联任务图与离线级联任务图模板进行匹配；在级联任务图与离线级联任务图模板至少部分匹配的情况下，按照匹配的离线级联任务图模板对应的调度策略，将级联任务图中的多个深度学习网络任务调度到异构硬件上执行。如此，优化了级联任务场景下的多个深度学习网络任务的执行，实现级联任务的高吞吐量和高效率调度。

公开(公告)号：CN115470901A

公开(公告)日：2022-12-13

申请号：CN202211083545.4

申请日：2022-09-06

Applicant: 北京大学

Inventor： 刘譞哲 ,  徐大亮 ,  徐梦炜 ,  马郓

IPC: G06N3/08 ,  G06F9/50

Abstract: 本发明提供了一种支持移动端异构处理器分载的混合精度训练方法及设备，应用于移动端，所述移动端包括混合精度算法抽象模块、异构处理器抽象模块、CPU和异构处理器，本发明实施例中，基于混合精度训练算法，通过混合精度算法抽象模块将原本高精度的训练模型转化能够直接在移动端执行的混合精度的中间表示模型，进而实现在不损失准确率的情况下减小运算负载，并使用移动端均包含的支持低精度的异构处理器来分载训练中所需的关键计算任务，实现在移动端快速高效地训练，进而减小了在移动端上训练的能耗和延迟。

公开(公告)号：CN115470901B

公开(公告)日：2023-05-19

申请号：CN202211083545.4

申请日：2022-09-06

Applicant: 北京大学

Inventor： 刘譞哲 ,  徐大亮 ,  徐梦炜 ,  马郓

IPC: G06N3/08 ,  G06F9/50

Abstract: 本发明提供了一种支持移动端异构处理器分载的混合精度训练方法及设备，应用于移动端，所述移动端包括混合精度算法抽象模块、异构处理器抽象模块、CPU和异构处理器，本发明实施例中，基于混合精度训练算法，通过混合精度算法抽象模块将原本高精度的训练模型转化能够直接在移动端执行的混合精度的中间表示模型，进而实现在不损失准确率的情况下减小运算负载，并使用移动端均包含的支持低精度的异构处理器来分载训练中所需的关键计算任务，实现在移动端快速高效地训练，进而减小了在移动端上训练的能耗和延迟。

公开(公告)号：CN110362501B

公开(公告)日：2021-09-24

申请号：CN201910607582.2

申请日：2019-07-05

Applicant: 北京大学

Inventor： 佟冬 ,  徐大亮 ,  程旭

IPC: G06F12/06 ,  G06F12/0875 ,  G06F12/0893

Abstract: 本发明涉及执行饱和寻址加载和存储操作的设备和方法，提供逻辑用于接收和执行饱和寻址数据移动指令以根据数组指针和数组指针元数据计算数组的上界和下界位置。如果加载操作的源位置高于上界位置或者低于下界位置，则将数据从上界位置或下界位置传送到目的位置，否则从源位置传送到目的位置。如果存储操作的目的位置高于上界位置或者低于下界位置，则将数据从源位置传送到上界位置或者下界位置，否则从源位置传送到目的位置。

公开(公告)号：CN110362501A

公开(公告)日：2019-10-22

申请号：CN201910607582.2

申请日：2019-07-05

Applicant: 北京大学

Inventor： 佟冬 ,  徐大亮 ,  程旭

IPC: G06F12/06 ,  G06F12/0875 ,  G06F12/0893

Abstract: 本发明涉及执行饱和寻址加载和存储操作的设备和方法，提供逻辑用于接收和执行饱和寻址数据移动指令以根据数组指针和数组指针元数据计算数组的上界和下界位置。如果加载操作的源位置高于上界位置或者低于下界位置，则将数据从上界位置或下界位置传送到目的位置，否则从源位置传送到目的位置。如果存储操作的目的位置高于上界位置或者低于下界位置，则将数据从源位置传送到上界位置或者下界位置，否则从源位置传送到目的位置。