公开(公告)号：CN101799808A

公开(公告)日：2010-08-11

申请号：CN200910077660.9

申请日：2009-02-10

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  邓超 ,  徐萌 ,  罗治国 ,  周文辉 ,  何清 ,  谭庆 ,  马旭东 ,  郑诗豪 ,  沈亚飞 ,  陈磊

IPC: G06F17/30

Abstract: 本发明公开了一种数据处理方法和数据处理系统，本发明方法包括：并行执行多个Map任务，其中，每个Map任务获取待处理数据中相应部分的数据，并对获取到的数据进行数据处理，得到所述待处理数据的局部处理结果；执行Reduce任务，所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。采用本发明，可提高数据挖掘过程中的数据预处理效率。

公开(公告)号：CN101799807A

公开(公告)日：2010-08-11

申请号：CN200910077659.6

申请日：2009-02-10

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  邓超 ,  徐萌 ,  罗治国 ,  周文辉 ,  何清 ,  谭庆 ,  马旭东 ,  郑诗豪 ,  沈亚飞 ,  陈磊

IPC: G06F17/30

Abstract: 本发明公开了一种异构数据表的合并方法及其系统，本发明方法包括：为多个异构数据表分别分配表标识，并将表标识添加到相应数据表中的所有数据记录；根据设置的关键字字段，将具有相同关键字字段值但具有不同表标识的数据记录合并为新的数据记录，并将所述新的数据记录中的表标识删除；将删除了表标识的数据记录存储到新的数据表中。采用本发明，可实现异构数据表的数据合并处理，并可提高数据合并操作的效率。