张量处理单元上加速稀疏矩阵计算的方法及存储介质

    公开(公告)号:CN119441698B

    公开(公告)日:2025-04-29

    申请号:CN202411531342.6

    申请日:2024-10-30

    Abstract: 本申请公开了一种张量处理单元上加速稀疏矩阵计算的方法及存储介质,所述方法包括:获取第一矩阵,其中第一矩阵包括行索引值或列索引值,第一矩阵为基于输入序列得到的稀疏矩阵;基于行索引值或列索引值,对所述第一矩阵的行和列进行重新排序,得到第二矩阵,以使所述第二矩阵相对于第一矩阵的缓存命中率更高;从GPU的内存中读取第三矩阵,并对所述第二矩阵和第三矩阵进行运算,其中所述第三矩阵是指与所述第二矩阵进行运算的矩阵,所述第三矩阵基于所述输入序列得到。通过本技术,并在tensor core上执行矩阵运算,减少了冗余计算操作,提升了运行过程中的缓存命中率实现了对稀疏矩阵的高效计算与运算资源的优化利用,极大地提升了矩阵计算的整体性能。

    一种面向国产超算系统的大模型训练优化方法及装置

    公开(公告)号:CN119647559A

    公开(公告)日:2025-03-18

    申请号:CN202411583800.0

    申请日:2024-11-07

    Abstract: 一种面向国产超算系统的大模型训练优化方法,应用于多个国产超算系统的计算设备,每个计算设备配置有GPU,GPU包含至少一个进程,方法应用于Megatron‑DeepSpeed框架,方法包括:确定大模型训练所需要的进程,每个进程确定归属的进程组;基于Megatron‑DeepSpeed框架中张量并行、流水线并行、数据并行的顺序,同时构建进程组,进程组中包括至少一个进程;每个进程在并行训练框架中执行多次前向计算和反向计算,通过进程组的通信机制进行数据交换与同步,前向计算和反向计算包括集合通信。本方法能够提高在国产超算上进行大模型训练时的训练效率。

    一种理性思考的方法
    5.
    发明公开

    公开(公告)号:CN118821941A

    公开(公告)日:2024-10-22

    申请号:CN202410825709.9

    申请日:2024-06-25

    Abstract: 本申请提供了一种理性思考的方法,应用于大语言模型,方法包括:确定结构化流程,结构化流程包括:识别任务中的关键信息,关键信息包括关键词和潜在的问题类型;根据关键信息将任务拆分为多个子任务;获取与每个子任务的答案相关的先验信息;根据先验信息反思关键信息和多个子任务中每个子任务的有效性和合理性,纠正潜在的问题类型和逻辑漏洞;基于反思的结果对每个子任务进行推理和逻辑计算;评估每个子任务的初步答案,整合后确定合理的答案;将结构化流程整合到决策过程中,使得大语言模型在接收到任务后,执行结构化流程,输出合理的答案。

    面向反应堆堆芯组件数值模拟的有限元撕裂对接法及系统

    公开(公告)号:CN112733401B

    公开(公告)日:2024-03-12

    申请号:CN202011607981.8

    申请日:2020-12-30

    Abstract: 本发明公开一种面向反应堆堆芯组件数值模拟的有限元撕裂对接法及系统。n个计算节点中每个计算节点均设有上述有限元撕裂对接系统,每个计算节点拥有g块类GPU加速器。本发明采用了负载均衡策略,使得各进程的稠密矩阵内存大小趋于平均值,充分利用集群资源,加快求解速度。采用HIP编程,使得有限元撕裂对接法运行在NvidiaCUDA平台和AMDROMc平台。在迭代求解过程的稠密矩阵向量乘阶段中,采用动态分配矩阵策略,使得不同处理器分配到合适的计算量,以充分利用计算资源,加快求解速度。在向量内积阶段,采用了向量内积加速策略和通信计算重叠策略,通过引入通信线程,减少通信等待时间,加快向量内积速度。

    基于时间和空间注意力的光伏发电时序预测方法及系统

    公开(公告)号:CN115081586B

    公开(公告)日:2023-03-31

    申请号:CN202210547025.8

    申请日:2022-05-19

    Abstract: 本申请提供一种基于时间和空间注意力的短期时序预测方法及系统,其中,方法包括,获取历史时间步长的预测目标数据和相关外源特征的数据作为第一、第二序列,历史时间步长内与预测目标具有空间相关性的第三序列,未来时间步长内对相关外源特征进行科学预测得的第四序列;对第四序列在第一、第二序列中提取时间相似趋势得到第五序列;对第五序列提取周期性并进行映射生成目标预测数据;提取第三序列中的空间相关性嵌入到目标预测数据中得到未来时间步长内的时空相关性编码数据;对第一序列、第二序列提取时间相关性并嵌入到时空相关性编码数据得到短期时序预测数据。本发明实现了对预测数据的时间、空间关联,提高了预测数据的准确性。

    一种短期时间序列预测模型的训练方法

    公开(公告)号:CN114743072A

    公开(公告)日:2022-07-12

    申请号:CN202210571113.1

    申请日:2022-05-24

    Abstract: 本发明涉及一种短期时间序列预测模型的训练方法,方法包括:输入具有不同特征的带有时间属性的历史图像数据;使用双流时空运动特性识别方法对所述图像数据进行特征提取,得到不同图像数据的特征;将不同图像数据的特征进行张量拼接,得到多种因子图像特征矩阵;将历史目标实测数据、历史理想外源辅助数据与历史实际外源辅助数据的差值、以及多种因子图像特征矩阵进行拼接,得到第一样本数据;以未来目标实测数据作为第一标签数据,使用Transformer预测出第一预测数据,将所述第一预测数据与所述第一标签数据使用损失函数计算第一预测损失,并向使所述第一预测损失减小的方向进行迭代训练,得到训练完成的模型。

Patent Agency Ranking