张量处理单元上加速稀疏矩阵计算的方法及存储介质

    公开(公告)号:CN119441698B

    公开(公告)日:2025-04-29

    申请号:CN202411531342.6

    申请日:2024-10-30

    Abstract: 本申请公开了一种张量处理单元上加速稀疏矩阵计算的方法及存储介质,所述方法包括:获取第一矩阵,其中第一矩阵包括行索引值或列索引值,第一矩阵为基于输入序列得到的稀疏矩阵;基于行索引值或列索引值,对所述第一矩阵的行和列进行重新排序,得到第二矩阵,以使所述第二矩阵相对于第一矩阵的缓存命中率更高;从GPU的内存中读取第三矩阵,并对所述第二矩阵和第三矩阵进行运算,其中所述第三矩阵是指与所述第二矩阵进行运算的矩阵,所述第三矩阵基于所述输入序列得到。通过本技术,并在tensor core上执行矩阵运算,减少了冗余计算操作,提升了运行过程中的缓存命中率实现了对稀疏矩阵的高效计算与运算资源的优化利用,极大地提升了矩阵计算的整体性能。

    一种理性思考的方法
    9.
    发明公开

    公开(公告)号:CN118821941A

    公开(公告)日:2024-10-22

    申请号:CN202410825709.9

    申请日:2024-06-25

    Abstract: 本申请提供了一种理性思考的方法,应用于大语言模型,方法包括:确定结构化流程,结构化流程包括:识别任务中的关键信息,关键信息包括关键词和潜在的问题类型;根据关键信息将任务拆分为多个子任务;获取与每个子任务的答案相关的先验信息;根据先验信息反思关键信息和多个子任务中每个子任务的有效性和合理性,纠正潜在的问题类型和逻辑漏洞;基于反思的结果对每个子任务进行推理和逻辑计算;评估每个子任务的初步答案,整合后确定合理的答案;将结构化流程整合到决策过程中,使得大语言模型在接收到任务后,执行结构化流程,输出合理的答案。

    一种基于资源调度器的深度学习系统及其方法

    公开(公告)号:CN109034386A

    公开(公告)日:2018-12-18

    申请号:CN201810668856.4

    申请日:2018-06-26

    CPC classification number: G06N3/08 G06N3/063

    Abstract: 本发明提供一种基于资源调度器的深度学习系统及其方法,包括:多个高性能计算节点,每个高性能计算节点包含多块图形处理器;还包括:资源调度器和深度学习框架,其中,资源调度器用于根据用户所提需求,从多个高性能计算节点中选取所需要的资源分配给用户;通过解析插件解析所述资源调度器分配给用户资源的环境变量,获取相应的参数;深度学习框架根据所述参数形成一个运行的进程,从而开始执行深度学习程序;在深度学习程序完成之后,所述资源调度器回收所有分配的资源,从而完成整个深度学习过程。本发明为各类深度学习框架提供一个整体的集中管理的系统,有效地提高了分布式学习框架的运算效率。

Patent Agency Ranking