基于拓扑计算的大模型推理计算架构、方法及装置

    公开(公告)号:CN119740663A

    公开(公告)日:2025-04-01

    申请号:CN202411809841.7

    申请日:2024-12-10

    Abstract: 本发明提出一种基于拓扑计算的大模型推理计算架构,包括:CPU、SDRAM、代码存储器、提示词存储器,以及大模型推理加速器,并通过总线将该CPU、该SDRAM、该代码存储器、该提示词存储器及该大模型推理加速器进行路由连接;进行大模型推理计算时,首先将该代码存储器中的代码及该提示词存储器中的提示词和词表,读取至该SDRAM,再根据该提示词的标记ID查询该SDRAM中的词表以获取嵌入向量,然后将该嵌入向量发送给该大模型推理加速器进行大模型推理计算,将该大模型推理加速器获得的输出结果发送上位机。本发明还提出一种基于拓扑计算的大模型推理计算方法及装置。本发明解决了大模型推理过程中权值加载的开销过大及KV cache的SRAM实现面积开销过大的问题。

    高光谱遥感图像分类方法、装置、存储介质

    公开(公告)号:CN119313952A

    公开(公告)日:2025-01-14

    申请号:CN202411342753.0

    申请日:2024-09-25

    Abstract: 本发明提出一种高光谱遥感图像分类方法、装置、存储介质,该方法包含:获取待测高光谱遥感图像的源域数据集与目标域数据集,该源域数据集的样本量大于该目标域数据集;分别对该源域数据集与目标域数据集进行多尺度中心样本信息增强处理,得到第一多尺度中心样本集、第二多尺度中心样本集;将该第一多尺度中心样本集输入至分类模型进行预训练,该分类模型包含分支融合网络,用以执行特征融合处理,输出融合的空谱特征;将预训练后的分类模型迁移至该第二多尺度中心样本集,执行轻量化微调处理,该分类模型输出最终的目标分类结果。该方法在参数量少的情况下达到了优异的分类效果,提高了高光谱遥感图像的分类准确性。

    基于AI处理器板卡任务调度的AI任务执行加速方法及装置

    公开(公告)号:CN118394482A

    公开(公告)日:2024-07-26

    申请号:CN202410647061.0

    申请日:2024-05-23

    Abstract: 本发明提出一种基于AI处理器板卡任务调度的AI任务执行加速方法和装置,包括:获取待执行的AI任务,并在该AI任务中增加调度策略配置参数;具有多个AI处理器板卡的AI计算平台根据该调度策略配置参数,确定执行该AI任务的AI处理器板卡ID;将该AI任务的运行在该AI处理器板卡ID对应的AI处理器板卡上,得到该AI任务的执行结果。从而可以达到更高效地利用AI处理器的效果;在该调度机制中,用户可以在配置文件中灵活地设置调度策略;调度策略包括内存占用最少优先、计算利用率最低优先和智能调度策略。

    一种基于芯粒结构编码的芯片性能预测方法及装置

    公开(公告)号:CN118504517A

    公开(公告)日:2024-08-16

    申请号:CN202410707802.X

    申请日:2024-06-03

    Abstract: 本发明提出一种基于芯粒结构编码的芯片性能预测方法和装置,包括:构建包括多个单芯粒设计和多个芯粒组合设计的芯粒设计空间;从该芯粒设计空间中选取一个单芯粒设计和一个芯粒组合设计,得到芯片结构的图数据和芯片中芯粒的特征参数,该图数据采用二维矩阵编码表示;构建包括结构编码器、参数编码器和特征解码器的芯片性能预测模型,将该图数据输入该结构编码器得到结构特征,将该特征参数输入该参数编码器得到参数特征,将该结构特征和该参数特征输入该特征解码器得到该芯片结构的性能和功耗作为性能预测结果。

    用于分形智能处理器的分形可重配指令集

    公开(公告)号:CN111831331A

    公开(公告)日:2020-10-27

    申请号:CN202010688961.1

    申请日:2020-07-16

    Abstract: 本公开提供一种用于分形智能处理器的分形可重配指令集,该分形可重配指令集将本地指令或计算原语映射为用于分形运算的分形指令,该本地指令作用于向量数据或标量数据。该分形可重配指令集包括间接指令域。对应的,分形智能处理器的控制系统包括分解模块、降级模块及记录模块;分解模块用于对分形可重配指令集进行串行分解;降级模块用于对串行分解后的串行分解子指令进行降级;分解模块还用于对降级后的串行分解子指令进行并行分解。记录模块,用于在每一次串行分解之前,替换所间接指令域的值,以实现对分形可重配指令集的动态控制。该分形可重配指令抽象层次高,表达灵活性强,结合控制系统的硬件架构支持,可解决计算过程中的失效问题。

    用于智能处理器的指令分解方法、装置及电子设备

    公开(公告)号:CN111831333B

    公开(公告)日:2024-03-29

    申请号:CN202010689147.1

    申请日:2020-07-16

    Abstract: 本公开提供一种用于智能处理器的指令分解方法、装置及电子设备,所述智能处理器根据分形指令进行分形运算,所述方法包括:确定对所述分形指令的操作数进行分解的维度的分解优先级;根据所述分解优先级选择当前分解的维度;在所述当前分解的维度上,对所述分形指令的操作数进行串行分解。该指令分解方法,能够在合理时间范围内找到最佳分解方案,依据最佳分解方案,串行分解器按照粒度循环输出指令模板,通过累加,计算分解出的子指令中各操作数的地址,从而提高分形运算的并行效率。

    用于智能处理器的内存管理装置、方法及电子设备

    公开(公告)号:CN111831582A

    公开(公告)日:2020-10-27

    申请号:CN202010689148.6

    申请日:2020-07-16

    Abstract: 本公开提供一种用于智能处理器的内存管理装置及方法,装置包括:循环内存段,包括第一内存区域、第二内存区域及第三内存区域,分别用于所述智能处理器进行运算过程中的分形运算、规约运算、数据装载及写回时调用;静态内存段,包括第四内存区域及第五内存区域,用于存储所述智能处理器进行运算时输入的分形指令。基于指令执行生命周期的差别,将智能处理器控制系统内存进行分类管理,可提高智能处理器的执行效率,并且,内存管理装置中增加张量置换单元可以进一步显著改善智能处理器的执行效率,同时数据一致性也得以维护。

Patent Agency Ranking