-
公开(公告)号：CN115860066A
公开(公告)日：2023-03-28
申请号：CN202211629670.0
申请日：2022-12-19
Applicant: 南京大学
IPC: G06N3/0464 , G06T1/20 , G06F9/38 , G06N3/08
Abstract: 本发明公开一种基于批处理的神经网络推理流水线复用的方法，该方法包括以下步骤：对网络的不同阶段进行分析；对网络的各个计算层进行切分得到切片单元；根据切片单元生成对应的指令；分析网络不同阶段的访存计算比率得到子图切分融合方案；动态规划算法对匹配的子图的指令序列进行重排；按照指令顺序部署于目标硬件上。本发明通过对前后任务的重叠排布来混合访存密集型算子和计算密集型算子，使得计算访存的负载均衡，在无需增加硬件资源的情况下提高硬件资源的利用率，从而增大计算的吞吐率，同时本发明又具有极好的移植性和扩展性。
Search Results
1
records
(took 0.013 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
