-
公开(公告)号：CN118378727A
公开(公告)日：2024-07-23
申请号：CN202410834403.X
申请日：2024-06-26
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种基于混合精度的数据处理方法、系统、产品、设备及介质，涉及人工智能领域，为解决深度学习框架和计算设备适配效率低的问题，该方法包括获取目标计算设备对应的硬件黑白名单；利用目标深度学习框架分析预设模型得到多个当前算子；根据多个当前算子的标准名称和硬件黑白名单确定多个当前算子的执行精度；控制目标计算设备按执行算子的执行精度对输入数据进行算子计算。本发明将各个深度学习框架中下的算子名称进行统一，减少不同深度学习框架下的算子名称的二义性，以硬件算子黑白名单为基准取代各个深度学习框架中的黑白名单，实现各深度学习框架间的统一，从而降低深度学习框架和计算设备的适配难度，降低维护成本。
-
公开(公告)号：CN119311737B
公开(公告)日：2025-03-21
申请号：CN202411876220.0
申请日：2024-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/2455 , G06N5/04
Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及程序产品。本申请在模型推理的初始化阶段，创建第一缓存区和第二缓存区；若接收到模型推理请求，则将模型推理请求的预处理阶段的上下文信息存储至第一缓存区；基于第一缓存区中的上下文信息，执行模型推理请求的解码阶段中的各个解码操作；其中，将前一解码操作的上下文信息存储至第二缓存区，基于第二缓存区中的上下文信息执行前一解码操作的后一解码操作。该方案基于以空间换推理效率的原则，利用两个缓存区分别存储预处理阶段和解码阶段的上下文信息，提升了模型推理性能和效率，无需更改模型结构，可使模型快速上线应用。
-
Patent Agency Ranking
公开(公告)号：CN118394349A
公开(公告)日：2024-07-26
申请号：CN202410853487.1
申请日：2024-06-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F8/41 , G06F18/214 , G06F18/2431 , G06N20/00
Abstract: 本申请公开了一种三方库接入方法、装置、设备、程序产品及介质，涉及计算机技术领域。该方法包括：获取预训练模型训练过程中使用的目标三方库，并对目标三方库进行梳理以分割出目标三方库中的计算模块；其中，计算模块用于实现各种算法的计算功能；确定接入目标三方库的深度学习框架类型，并根据深度学习框架类型，将计算模块中的计算逻辑分解为基于人工智能算力框架执行的目标算子；人工智能算力框架为用于实现人工智能算法的计算框架；利用人工智能算力框架调用目标算子以完成目标三方库的接入，并基于人工智能算力框架与目标三方库对接异构硬件设备。通过本申请的技术方案，可以缩减三方库接入流程，有效提高三方库接入效率。
-
公开(公告)号：CN118394349B
公开(公告)日：2024-09-06
申请号：CN202410853487.1
申请日：2024-06-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F8/41 , G06F18/214 , G06F18/2431 , G06N20/00
Abstract: 本申请公开了一种三方库接入方法、装置、设备、程序产品及介质，涉及计算机技术领域。该方法包括：获取预训练模型训练过程中使用的目标三方库，并对目标三方库进行梳理以分割出目标三方库中的计算模块；其中，计算模块用于实现各种算法的计算功能；确定接入目标三方库的深度学习框架类型，并根据深度学习框架类型，将计算模块中的计算逻辑分解为基于人工智能算力框架执行的目标算子；人工智能算力框架为用于实现人工智能算法的计算框架；利用人工智能算力框架调用目标算子以完成目标三方库的接入，并基于人工智能算力框架与目标三方库对接异构硬件设备。通过本申请的技术方案，可以缩减三方库接入流程，有效提高三方库接入效率。
-
公开(公告)号：CN118378727B
公开(公告)日：2024-09-03
申请号：CN202410834403.X
申请日：2024-06-26
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种基于混合精度的数据处理方法、系统、产品、设备及介质，涉及人工智能领域，为解决深度学习框架和计算设备适配效率低的问题，该方法包括获取目标计算设备对应的硬件黑白名单；利用目标深度学习框架分析预设模型得到多个当前算子；根据多个当前算子的标准名称和硬件黑白名单确定多个当前算子的执行精度；控制目标计算设备按执行算子的执行精度对输入数据进行算子计算。本发明将各个深度学习框架中下的算子名称进行统一，减少不同深度学习框架下的算子名称的二义性，以硬件算子黑白名单为基准取代各个深度学习框架中的黑白名单，实现各深度学习框架间的统一，从而降低深度学习框架和计算设备的适配难度，降低维护成本。
-
公开(公告)号：CN119311737A
公开(公告)日：2025-01-14
申请号：CN202411876220.0
申请日：2024-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/2455 , G06N5/04
Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及程序产品。本申请在模型推理的初始化阶段，创建第一缓存区和第二缓存区；若接收到模型推理请求，则将模型推理请求的预处理阶段的上下文信息存储至第一缓存区；基于第一缓存区中的上下文信息，执行模型推理请求的解码阶段中的各个解码操作；其中，将前一解码操作的上下文信息存储至第二缓存区，基于第二缓存区中的上下文信息执行前一解码操作的后一解码操作。该方案基于以空间换推理效率的原则，利用两个缓存区分别存储预处理阶段和解码阶段的上下文信息，提升了模型推理性能和效率，无需更改模型结构，可使模型快速上线应用。
-
公开(公告)号：CN118657193A
公开(公告)日：2024-09-17
申请号：CN202410706215.9
申请日：2024-05-31
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种异构计算平台及其模型数据处理方法、装置、设备、介质，应用于异构计算领域。其中，方法包括将异构计算平台的多类算力节点设备适配至目标深度学习框架，使用同一目标深度学习框架共同对待训练网络模型进行模型训练。对各算力节点设备进行统一编码，并基于各算力节点设备对应的算力资源类型在分布式通信接口中确定对应的目标通讯接口；当基于各算力节点设备的编码信息，将待训练网络模型下发至各算力节点设备进行分布式训练过程中，各算力节点设备之间通过对应的目标通讯接口进行模型数据的传输。本发明可以解决相关技术不支持多种算力节点设备进行异构计算的问题，能够实现不同种类的算力节点设备共同完成对神经网络模型的训练。
-
-
-
-
-
-
Search Results
7
records
(took 0.024 seconds)
