用于数据计算的方法、电子设备和存储介质
摘要:
本发明的实施例涉及一种用于数据计算的方法、电子设备和存储介质。在该方案中,针对多个批量的数据,通过同时执行当前批量的数据的解码过程和下一批量的数据的编码过程,使得当前批量的数据的由解码器执行的推理计算部分与下一批量的数据的由编码器执行的推理计算部分的相融合以同时进行计算,从而能够更平衡地利用高带宽内存和张量计算核心的算力,改善计算单元的整体利用效率,提高推理过程的数据吞吐速率。
公开/授权文献
0/0