公开(公告)号：CN118779343A

公开(公告)日：2024-10-15

申请号：CN202310344765.6

申请日：2023-03-31

申请人： 华为云计算技术有限公司

发明人： 李丰 ,  张秦 ,  孟杰 ,  朱紫兴

IPC分类号： G06F16/2453 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458 ,  G06F16/2457 ,  G06F17/16 ,  G06F17/18

摘要： 本申请公开了一种数据的预处理方法及装置，涉及计算机技术领域。该方法应用于计算设备的中央处理器CPU，该方法包括：获取第一原始数据；创建用于构建与第一原始数据对应的第一矩阵的第一索引列。其中，第一索引列与第一原始数据的元素列的列长度相同，且包括第一原始数据的元素列中每个元素的索引值。进而，在通过矩阵运算加速算法时，通过本申请方法能够构建出对原始数据执行与查询算法对应的矩阵乘法时所需的、与原始数据对应的矩阵，以实现算法加速。

公开(公告)号：CN118760509A

公开(公告)日：2024-10-11

申请号：CN202310308210.6

申请日：2023-03-27

申请人： 华为云计算技术有限公司

发明人： 孟杰 ,  张秦 ,  刘江 ,  李丰 ,  王成

IPC分类号： G06F9/50

摘要： 本申请涉及一种应用于大数据的数据处理系统及数据处理方法，数据处理系统包括实现引擎层的第一子系统、实现缓存加速层的第二子系统和实现存储层的第三子系统，缓存加速层和所述存储层包括GPU处理单元，第一子系统用于根据查询请求确定由GPU处理单元执行的原始算子及其调度计划，将调度计划输出至第二子系统；第二子系统根据调度计划将原始算子转换为中间表示算子并调度至第二执行对象；第二子系统使用并发模型驱动第三执行对象执行中间表示算子，执行结果由第三执行对象输出至第一子系统，执行结果用于得到查询结果。根据本申请实施例的数据处理系统，能够降低存算分离场景下的数据搬移成本，提高数据处理效率。