-
公开(公告)号:CN115185985A
公开(公告)日:2022-10-14
申请号:CN202211091770.2
申请日:2022-09-07
申请人: 北京镜舟科技有限公司
发明人: 方祝和
IPC分类号: G06F16/2453 , G06F16/2457 , G06F16/2455 , G06F9/38 , G06F12/0842 , G06F9/50
摘要: 本申请实施例涉及一种数据排序方法、装置、电子设备及存储介质,方法包括:由待排序标识集得到T个子标识集并启动与其对应的T个线程;根据子标识集中标识分布特征将各个子标识集划分为N个区间,将待排序标识集对应的待排序数据集存储到本地非一致内存访问节点;将各个子标识集中标识分布特征相同的区间进行组合,得到N个目标子标识集,针对任一线程启动C个协程交错执行;针对任一协程,确定协程对应的目标子标识集,采用单指令多数据流向量化方式对目标子标识集循环筛选出最小或最大标识,并从本地非一致内存访问节点中获取其对应的数据,以组成N个有序目标子数据集,合并得到有序数据集。可同时解决待排序数据排序过程中遇到的多个瓶颈。
-
公开(公告)号:CN115168410B
公开(公告)日:2022-12-20
申请号:CN202211089539.X
申请日:2022-09-07
申请人: 北京镜舟科技有限公司
发明人: 方祝和
IPC分类号: G06F16/2453 , G06F16/2455 , G06F16/22 , G06F12/1036 , G06F12/0811 , G06F12/0842 , G06F9/38 , G06F9/50
摘要: 本发明实施例涉及计算机技术领域,为解决现有技术中无法提升数据库算子执行速度的技术问题,本发明实施例涉及一种算子执行方法、装置、电子设备及存储介质,所述方法包括:确定待处理的目标数据表以及待执行的目标算子;将所述目标数据表进行分区,得到多个表数据分区;针对每个所述表数据分区,启动至少一个第一线程,其中,每个所述第一线程启动多个第一协程交替执行预设的数据项处理操作,以得到所述表数据分区对应的哈希表,每个所述第一协程利用单指令多数据流执行所述数据项处理操作;基于每个所述表数据分区的所述哈希表执行所述目标算子。由此,能够实现提高数据库算子的执行性能。
-
公开(公告)号:CN115185985B
公开(公告)日:2022-12-20
申请号:CN202211091770.2
申请日:2022-09-07
申请人: 北京镜舟科技有限公司
发明人: 方祝和
IPC分类号: G06F16/2453 , G06F16/2457 , G06F16/2455 , G06F9/38 , G06F12/0842 , G06F9/50
摘要: 本申请实施例涉及一种数据排序方法、装置、电子设备及存储介质,方法包括:由待排序标识集得到T个子标识集并启动与其对应的T个线程;根据子标识集中标识分布特征将各个子标识集划分为N个区间,将待排序标识集对应的待排序数据集存储到本地非一致内存访问节点;将各个子标识集中标识分布特征相同的区间进行组合,得到N个目标子标识集,针对任一线程启动C个协程交错执行;针对任一协程,确定协程对应的目标子标识集,采用单指令多数据流向量化方式对目标子标识集循环筛选出最小或最大标识,并从本地非一致内存访问节点中获取其对应的数据,以组成N个有序目标子数据集,合并得到有序数据集。可同时解决待排序数据排序过程中遇到的多个瓶颈。
-
公开(公告)号:CN115168410A
公开(公告)日:2022-10-11
申请号:CN202211089539.X
申请日:2022-09-07
申请人: 北京镜舟科技有限公司
发明人: 方祝和
IPC分类号: G06F16/2453 , G06F16/2455 , G06F16/22 , G06F12/1036 , G06F12/0811 , G06F12/0842 , G06F9/38 , G06F9/50
摘要: 本发明实施例涉及计算机技术领域,为解决现有技术中无法提升数据库算子执行速度的技术问题,本发明实施例涉及一种算子执行方法、装置、电子设备及存储介质,所述方法包括:确定待处理的目标数据表以及待执行的目标算子;将所述目标数据表进行分区,得到多个表数据分区;针对每个所述表数据分区,启动至少一个第一线程,其中,每个所述第一线程启动多个第一协程交替执行预设的数据项处理操作,以得到所述表数据分区对应的哈希表,每个所述第一协程利用单指令多数据流执行所述数据项处理操作;基于每个所述表数据分区的所述哈希表执行所述目标算子。由此,能够实现提高数据库算子的执行性能。
-
-
-