公开(公告)号：CN113608852B

公开(公告)日：2024-07-16

申请号：CN202110888396.8

申请日：2021-08-03

Applicant: 中国科学技术大学 ,  科大讯飞股份有限公司

Inventor： 张海俊 ,  朱亚平 ,  姚文军 ,  李华清

IPC: G06F9/48 ,  G06N3/045 ,  G06N5/04

Abstract: 本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统，其中方法应用于调度模块，该方法包括：获取各推理节点的待处理信息，各推理节点协同作业，待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型；基于各推理节点的待处理信息，以及各推理节点在协同作业中的重要性，从各推理节点中选取目标节点，所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量；向目标节点发送任务处理指令，以触发目标节点进行任务处理，满足了对整体吞吐量和任务响应时间的要求，解决了单一神经网络的调度推理方案无法对多个神经网络协同工作的任务进行调度推理的问题，实现了复杂场景下的调度推理。

公开(公告)号：CN115965065A

公开(公告)日：2023-04-14

申请号：CN202211669086.8

申请日：2022-12-23

Applicant: 中国科学技术大学

Inventor： 张海俊 ,  姚文军 ,  汪锦想 ,  魏岩 ,  凌震华

IPC: G06N3/063

Abstract: 本申请公开了一种模型计算方法、装置及设备，能够应用于神经网络模型的加速计算，将神经网络模型的计算图进行节点拆分，获取单一节点；识别单一节点并确认可融合节点；将多个可融合节点融合生成融合节点；将融合节点替代多个可融合节点，并通过融合节点实现神经网络模型的计算。采用本申请提供的技术方案，能够大大提高神经网络模型的计算速度，并大量提高CPU效能，实现神经网络模型的高效计算。

公开(公告)号：CN115719306A

公开(公告)日：2023-02-28

申请号：CN202211488311.8

申请日：2022-11-25

Applicant: 中国科学技术大学

Inventor： 姚文军 ,  陈旭 ,  凌震华

IPC: G06T3/40

Abstract: 本发明提供了一种数据组装方法、装置、设备和可读存储介质，可以获取待输入至模型的所有图片的尺寸集合，其中尺寸集合包括每个图片的尺寸值组。基于每个图片的尺寸值组以及预设拼接规则对所有图片进行拼接，得到一张包含所有图片的拼接图片。然后基于模型的视野宽度在拼接图片中的相邻图片之间插入空白像素，得到组装后的图片。该数据组装方法通过将各个图片拼接为一个大的图片后进行空白像素的填充得到的组装图片，能够加大模型每次计算的样本数，同时减少数据组装过程中所产生的计算浪费，从而提高了神经网络模型的计算效率。

公开(公告)号：CN115879526A

公开(公告)日：2023-03-31

申请号：CN202211555192.3

申请日：2022-12-06

Applicant: 中国科学技术大学

Inventor： 姚文军 ,  蒋竞 ,  凌震华

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种定长输入神经网络模型的修改方法、装置及设备，该方法包括：获取仅支持定长输入的神经网络模型的原图后，获取神经网络模型的各算子的包括mask变换子图和mask清零子图的mask处理子图；然后，生成包含该各算子的mask处理子图的数据清零图；在接收到用户输入的mask数据集后，根据数据清零图中的mask变换子图对mask数据集中的mask进行变换操作，并将原图中需要进行数据清零的算子替换为该算子的mask清零子图，以实现数据清零图和原图的合并；最后，根据合并后的图生成用于计算与mask对应的变长输入数据的目标神经网络模型。基于此，本申请提高了mask和数据清零操作的添加效率和准确率，进而，本申请能够提高神经网络模型的修改效率和准确率。

公开(公告)号：CN115018064B

公开(公告)日：2024-11-08

申请号：CN202210737352.X

申请日：2022-06-27

Applicant: 中国科学技术大学

Inventor： 姚文军 ,  张海俊 ,  汪锦想 ,  陈旭 ,  凌震华

IPC: G06N3/063 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明实施例公开了一种计算节点的空间分配方法及装置，对神经网络的各个计算节点进行分类，得到多个的计算形状节点和多个的计算张量节点；将与每个计算张量节点相关的计算形状节点融合成一个新节点；将待推理数据输入神经网络；根据计算张量节点的属性和计算特性、新节点的属性和计算特性以及待推理数据，推导得到神经网络的各个计算节点计算待推理数据时所需的存储空间；为各个计算节点分配所述存储空间。可见，本发明实施例中，在推理引擎执行之前就可以通过离线推导得到各个计算节点对应的存储空间，能够在计算开始之前就为各个计算节点分配好对应的存储空间，如此能节约在计算时开辟存储空间的时间，从而提高推理引擎整体的计算效率。

公开(公告)号：CN115018064A

公开(公告)日：2022-09-06

申请号：CN202210737352.X

申请日：2022-06-27

Applicant: 中国科学技术大学

Inventor： 姚文军 ,  张海俊 ,  汪锦想 ,  陈旭 ,  凌震华

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实施例公开了一种计算节点的空间分配方法及装置，对神经网络的各个计算节点进行分类，得到多个的计算形状节点和多个的计算张量节点；将与每个计算张量节点相关的计算形状节点融合成一个新节点；将待推理数据输入神经网络；根据计算张量节点的属性和计算特性、新节点的属性和计算特性以及待推理数据，推导得到神经网络的各个计算节点计算待推理数据时所需的存储空间；为各个计算节点分配所述存储空间。可见，本发明实施例中，在推理引擎执行之前就可以通过离线推导得到各个计算节点对应的存储空间，能够在计算开始之前就为各个计算节点分配好对应的存储空间，如此能节约在计算时开辟存储空间的时间，从而提高推理引擎整体的计算效率。