公开(公告)号：CN119512724A

公开(公告)日：2025-02-25

申请号：CN202311073014.1

申请日：2023-08-22

Applicant: 华为技术有限公司

Inventor： 白有辉 ,  周华漫 ,  王森 ,  陈仁海 ,  张弓 ,  刘鹏 ,  陈旭 ,  李付华

IPC: G06F9/50 ,  G06N3/045 ,  G06N3/084

Abstract: 本申请涉及AI领域，提供了一种复用神经网络芯片内存的方法和装置。该方法包括：确定目标张量，目标张量为需要从神经网络芯片内存交换到非神经网络芯片内存的张量；根据目标张量参与的多个计算操作确定目标张量的生命周期，其中，目标张量的生命周期大于或等于多个计算操作的持续时间之和，并且，目标张量的生命周期小于多个计算操作的起始时刻至多个计算操作的结束时刻的时长；根据目标张量的生命周期复用神经网络芯片内存。该方法通过重定义目标张量的生命周期，将空闲的神经网络芯片内存分配给参与计算操作的张量，从而提高了神经网络芯片内存的使用效率。

公开(公告)号：CN119441695A

公开(公告)日：2025-02-14

申请号：CN202410210715.3

申请日：2024-02-26

Applicant: 华为技术有限公司

Inventor： 周华漫 ,  白有辉 ,  王森 ,  陈仁海 ,  张弓 ,  张长山 ,  付勇 ,  冉杰文 ,  李付华

IPC: G06F17/16 ,  G06F9/50 ,  G06F15/177 ,  G06F15/78 ,  G06N3/0455 ,  G06N3/063

Abstract: 本申请提供一种数据处理方法及装置，涉及计算机领域，该方法包括：该方法应用于芯片，该芯片中包括计算核，该方法包括：计算核确定按照自注意力self‑attention机制对第一矩阵、第一子矩阵K'和第二子矩阵V'进行计算的第一结果O'。其中，第一矩阵为查询query矩阵Q或矩阵Q中的子矩阵，第一子矩阵K'为关键字key矩阵K中的子矩阵，第二子矩阵V'为值value矩阵V中的子矩阵。计算核确定按照self‑attention机制对第一矩阵、第三子矩阵K”和第四子矩阵V”进行计算的第二结果O”。其中，第三子矩阵K”为矩阵K中第一子矩阵K'之外的子矩阵，第四子矩阵V”为矩阵V中第二子矩阵V'之外的子矩阵。计算核至少根据第一结果O'和第二结果O”，确定第三结果。其中，第三结果为按照self‑attention机制对矩阵Q、矩阵K和矩阵V进行计算所得到的矩阵O或矩阵O的子矩阵。

公开(公告)号：CN119179835A

公开(公告)日：2024-12-24

申请号：CN202310746599.2

申请日：2023-06-21

Applicant: 华为技术有限公司

Inventor： 白有辉 ,  王森 ,  周华漫 ,  唐艺峰 ,  张弓 ,  付勇 ,  李付华

IPC: G06F17/16

Abstract: 公开了一种数据处理方法及相关设备，以提高智能芯片中的矩阵计算单元的利用率，提高向量类运算效率，进而提高智能芯片的吞吐量。该方法包括：获取到向量算子后，判断该向量算子是否能够转换为等效的矩阵乘法算子，若能则将该向量算子转换为对应的目标矩阵乘法算子，使得能够利用智能芯片的矩阵计算单元执行该目标矩阵乘法算子，提高智能芯片的整体运算效率。