基于列存储的多核并行哈希分区优化方法

    公开(公告)号:CN104133661B

    公开(公告)日:2017-01-18

    申请号:CN201410369674.9

    申请日:2014-07-30

    Abstract: 本发明公开了一种基于列存储的多核并行哈希分区优化方法,主要解决现有并行哈希分区算法不能高效利用多核处理器资源的问题。其实现方案是:首先,利用映射-化简并行编程模型将数据分区任务动态分配到各个核来执行,根据列存储数据集存储结构的不同,选择相应的避免写冲突策略;然后,用映射线程进行第一次哈希划分,并将所得到的第一次哈希分区结果经过数据倾斜优化后交给化简进程进行第二次哈希分区;最后,返回最终的哈希分区结果。本发明很好的利用了在多核处理器上任务可并行执行的特性,并能够适应各种分布的输入数据,提高了高速缓存效率和多核处理器的整体性能,可用于列存储数据集的多核并行多步哈希分区。

    基于列存储的多核并行哈希分区优化方法

    公开(公告)号:CN104133661A

    公开(公告)日:2014-11-05

    申请号:CN201410369674.9

    申请日:2014-07-30

    Abstract: 本发明公开了一种基于列存储的多核并行哈希分区优化方法,主要解决现有并行哈希分区算法不能高效利用多核处理器资源的问题。其实现方案是:首先,利用映射-化简并行编程模型将数据分区任务动态分配到各个核来执行,根据列存储数据集存储结构的不同,选择相应的避免写冲突策略;然后,用映射线程进行第一次哈希划分,并将所得到的第一次哈希分区结果经过数据倾斜优化后交给化简进程进行第二次哈希分区;最后,返回最终的哈希分区结果。本发明很好的利用了在多核处理器上任务可并行执行的特性,并能够适应各种分布的输入数据,提高了高速缓存效率和多核处理器的整体性能,可用于列存储数据集的多核并行多步哈希分区。

Patent Agency Ranking