Patent search ap:("中国科学院计算技术研究所") AND inv:"于钟凯" Page 1

1.

发明公开
基于芯粒和近存计算的边缘端大语言模型推理加速方法审中-实审

公开(公告)号：CN119476487A

公开(公告)日：2025-02-18

申请号：CN202411551388.4

申请日：2024-11-01

Applicant: 中国科学院计算技术研究所

Inventor： 胡杏 , 于钟凯 , 马天云 , 梁胜文 , 郭崎 , 陈天石

IPC: G06N5/04 , G06N3/042 , G06N3/06

Abstract: 本发明提出一种基于芯粒和近存计算的边缘端大语言模型推理加速方法和装置，包括模型权重储存在Flash，整个推理过程包含的全部矩阵向量乘法的运算由Flash和NPU协同完成。在Flash中计算的部分：需要NPU把输入向量发送到Flash中，使用Flash内部存储的权重矩阵和该输入向量做矩阵向量乘法，得到结果后发送回NPU。在NPU中计算的部分：NPU中存储着输入向量，需要从Flash中逐块读取权重矩阵，并在NPU中完成运算。运算结果保存在NPU中。注意力运算由NPU独立完成。特殊函数计算由NPU独立完成。NPU与Flash各自承担的任务比例，使得二者能更好地协同完成大语言模型的推理任务。

Patent Agency Ranking