-
公开(公告)号:CN114329325A
公开(公告)日:2022-04-12
申请号:CN202111374829.4
申请日:2021-11-19
Abstract: 本发明公开了一种基于昇腾AI处理器的批量矩阵乘算子的优化方法,所述方法包括:获取第一输入数据与第二输入数据,并将所述第一输入数据与所述第二输入数据搬运到AI Core;获取所述第二输入数据的加载行数,并根据所述加载行数以及预设的缓冲区的双缓存机制对所述第一输入数据和第二输入数据进行划分;将划分后的所述第一输入数据和第二输入数据加载到所述缓冲区中进行计算,得到输出数据;将所述输出数据搬运到外部存储中进行输出。本申请能够利用双缓冲机制,能够缩短第一矩阵和第二矩阵相乘的运算时间,从而提高数据处理的效率。
-
公开(公告)号:CN116501642A
公开(公告)日:2023-07-28
申请号:CN202310520371.1
申请日:2023-05-09
Applicant: 北京大学
IPC: G06F11/36
Abstract: 本申请公开了一种算子的测试方法及装置、非易失性存储介质、电子设备。其中,该方法包括:确定用于接收多个待测试算子库的宏函数接口,其中,多个待测试算子库基于不同的算子库框架;通过宏函数接口对多个待测试算子库中每个待测试算子的算子信息和每个待测试算子对应的测试操作进行提取;将提取到的算子信息与标准算子库中的标准算子信息进行对比,确定待测试算子中的目标待测试算子;分别基于提取到的测试操作和标准算子库中的标准测试操作对目标待测试算子进行测试,生成测试结果。本申请解决了由于无法基于不同框架的算子库中的不同算子进行测试造成的算子测试效率低下的技术问题。
-
公开(公告)号:CN114281874B
公开(公告)日:2024-12-10
申请号:CN202111373725.1
申请日:2021-11-19
Abstract: 本发明涉及数据索引领域,具体是涉及一种基于昇腾AI处理器的索引转换方法及装置。本发明根据张量的数据排布格式,对算子的索引信息进行转换,使得转换之后的索引信息与张量的数据排布格式所匹配,由于对索引信息进行转换只涉及到对数字的简单运算,从而在不改变张量数据排布格式的前提下,依然能够通过转换之后的索引信息在张量中索引到相应的数据。由于本发明不涉及到改变张量数据排布格式,从而避免了因改变张量数据排布格式而耗费的时间,进而提高了算子的计算速度。
-
公开(公告)号:CN113722269B
公开(公告)日:2023-01-24
申请号:CN202110990045.8
申请日:2021-08-26
Applicant: 北京大学
IPC: G06F15/80
Abstract: 本申请公开了一种基于昇腾AI处理器的跨步切片算子处理方法及装置。其中,该方法包括:获取跨步切片算子的输入张量和待提取切片的下标;基于所述待提取切片的下标确定所述待提取切片在所述输入张量中的起始下标和长度;利用所述起始下标和所述长度从所述输入张量中确定待搬运的数据;通过昇腾AI处理器的输出缓冲区将所述待搬运的数据搬运至输出张量。本申请解决了跨步切片算子处理速度低的技术问题。
-
公开(公告)号:CN113722269A
公开(公告)日:2021-11-30
申请号:CN202110990045.8
申请日:2021-08-26
Applicant: 北京大学
Abstract: 本申请公开了一种基于昇腾AI处理器的跨步切片算子处理方法及装置。其中,该方法包括:获取跨步切片算子的输入张量和待提取切片的下标;基于所述待提取切片的下标确定所述待提取切片在所述输入张量中的起始下标和长度;利用所述起始下标和所述长度从所述输入张量中确定待搬运的数据;通过昇腾AI处理器的输出缓冲区将所述待搬运的数据搬运至输出张量。本申请解决了跨步切片算子处理速度低的技术问题。
-
公开(公告)号:CN114329325B
公开(公告)日:2024-09-24
申请号:CN202111374829.4
申请日:2021-11-19
Abstract: 本发明公开了一种基于昇腾AI处理器的批量矩阵乘算子的优化方法,所述方法包括:获取第一输入数据与第二输入数据,并将所述第一输入数据与所述第二输入数据搬运到AI Core;获取所述第二输入数据的加载行数,并根据所述加载行数以及预设的缓冲区的双缓存机制对所述第一输入数据和第二输入数据进行划分;将划分后的所述第一输入数据和第二输入数据加载到所述缓冲区中进行计算,得到输出数据;将所述输出数据搬运到外部存储中进行输出。本申请能够利用双缓冲机制,能够缩短第一矩阵和第二矩阵相乘的运算时间,从而提高数据处理的效率。
-
公开(公告)号:CN114327630B
公开(公告)日:2023-02-10
申请号:CN202210009738.9
申请日:2022-01-05
Applicant: 北京大学
Abstract: 本发明公开了一种适用于华为昇腾芯片的高性能算子生成方法。其中,该方法包括:在目标开发方式下,生成多个候选操作函数,其中,目标开发方式是基于昇腾人工智能处理器的张量加速引擎算子开发框架确定的张量迭代器内核开发方式;从多个候选操作函数选取待使用的目标操作函数;利用目标操作函数和目标操作数据执行目标操作,得到目标操作结果。本发明解决了相关技术中对于高性能算子的开发效率低下的技术问题。
-
公开(公告)号:CN113704689B
公开(公告)日:2022-11-11
申请号:CN202110984626.0
申请日:2021-08-25
Applicant: 北京大学
Abstract: 本发明公开了一种基于昇腾AI处理器的矩阵乘算子的处理方法及装置。其中,该方法包括:获取矩阵乘算子的第一源操作数和第二源操作数;对第一源操作数进行数据转换处理,得到第一转换结果,以及对第二源操作数进行数据转换处理,得到第二转换结果;对第一转换结果进行分块处理,得到第一分块结果,以及对第二转换结果进行分块处理,得到第二分块结果;采用与人工智能处理器中计算核心数量对应的多个计算核心对第一分块结果与第二分块结果进行矩阵乘运算,得到中间运算结果;对中间运算结果进行数据转换处理,得到矩阵乘算子的输出结果,其中,输出结果的输出格式为二维格式。本发明解决了矩阵乘运算的运算效率低的技术问题。
-
公开(公告)号:CN114327630A
公开(公告)日:2022-04-12
申请号:CN202210009738.9
申请日:2022-01-05
Applicant: 北京大学
Abstract: 本发明公开了一种适用于华为昇腾芯片的高性能算子生成方法。其中,该方法包括:在目标开发方式下,生成多个候选操作函数,其中,目标开发方式是基于昇腾人工智能处理器的张量加速引擎算子开发框架确定的张量迭代器内核开发方式;从多个候选操作函数选取待使用的目标操作函数;利用目标操作函数和目标操作数据执行目标操作,得到目标操作结果。本发明解决了相关技术中对于高性能算子的开发效率低下的技术问题。
-
公开(公告)号:CN114281874A
公开(公告)日:2022-04-05
申请号:CN202111373725.1
申请日:2021-11-19
Abstract: 本发明涉及数据索引领域,具体是涉及一种基于昇腾AI处理器的索引转换方法及装置。本发明根据张量的数据排布格式,对算子的索引信息进行转换,使得转换之后的索引信息与张量的数据排布格式所匹配,由于对索引信息进行转换只涉及到对数字的简单运算,从而在不改变张量数据排布格式的前提下,依然能够通过转换之后的索引信息在张量中索引到相应的数据。由于本发明不涉及到改变张量数据排布格式,从而避免了因改变张量数据排布格式而耗费的时间,进而提高了算子的计算速度。
-
-
-
-
-
-
-
-
-