一种面向随机分布输入数据的MapReduce的编码计算方法和系统

    公开(公告)号:CN118585192A

    公开(公告)日:2024-09-03

    申请号:CN202410729986.X

    申请日:2024-06-06

    Abstract: 本申请属于计算机分布式计算领域,具体公开了一种面向随机分布输入数据的MapReduce的编码计算方法和系统。通过本申请,将MapReduce计算任务的数据混洗过程建模为图,将求解数据混洗过程最优工作节点合并转化为求解对应图的最优平衡图分割问题,根据图分割结果确定节点合并方案后,针对节点合并方案,进行编码分布式计算,在低网络开销下完成数据混洗。本申请通过在随机分布输入数据的MapReduce大数据处理系统上使用基于节点合并的编码分布式计算,来降低系统数据混洗过程中的传输开销。

Patent Agency Ranking