公开(公告)号：CN101799810B

公开(公告)日：2012-09-26

申请号：CN200910077996.5

申请日：2009-02-06

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  邓超 ,  徐萌 ,  罗治国 ,  周文辉 ,  何清 ,  曾立 ,  郑诗豪 ,  沈亚飞 ,  陈磊

IPC: G06F17/30

Abstract: 本发明公开了一种关联规则挖掘方法及其系统。本发明方法包括：由频繁K项集生成K+1项集；执行多个并行的处理任务，其中，每个处理任务获取事务数据集中相应部分的数据，并统计K+1项集在该部分数据中的频繁计数值；对所有处理任务的统计结果进行汇总得到K+1项集在所述事务数据集中的频繁计数值，根据K+1项集的频繁计数值生成满足支持度要求的频繁K+1项集，并根据所述频繁K+1项集在判断有满足可信度要求的关联规则时输出该关联规则。采用本发明，可提高关联规则挖掘的处理效率。

公开(公告)号：CN101996102A

公开(公告)日：2011-03-30

申请号：CN200910091865.2

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  徐萌 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  曾立

IPC: G06F9/50 ,  G06F17/30

Abstract: 本发明公开了数据关联规则挖掘实现方法及系统。通过主控节点将数据记录进行分块，将分块数据记录分配并分发给至少两个计算节点。由各计算节点并行查找频繁1-项集；并根据排序后的频繁1-项集，产生子数据项串。由合并节点并行对全部子数据项串进行统计，构建本地FP子树。通过合并FP子树，得到合局FP树，进行数据关联规则挖掘。由于每个计算节点仅处理一部分数据记录，解决了海量数据无法由单机读入内存进行处理的问题；且多个节点并行参与处理，有效提高了处理效率。

公开(公告)号：CN101996198A

公开(公告)日：2011-03-30

申请号：CN200910091866.7

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了一种聚类实现方法及系统。由主控节点将候选队列中的候选样本进行分片，由至少两个计算节点并行地根据设定的ε邻域和最小密度分别确定出分配的分片样本中的每一个样本是否为核心样本；由于各计算节点并行处理，加快了样本数据库中各样本所属聚类的标记速度。本发明公开的另一种聚类实现方法及系统，由主控节点对样本数据库中当前未标记样本进行分块，将分块样本分配并下发给至少两个计算节点，由各计算节点并行地对候选队列中的候选样本进行处理，再通过合并节点合并各计算节点的处理结果。由于每个计算节点仅处理部分样本，解决了海量数据无法单机处理的问题，且由于可以由多个计算节点及多个并合节点进行并行处理，大大提高了处理效率。

公开(公告)号：CN101996197A

公开(公告)日：2011-03-30

申请号：CN200910091864.8

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了聚类实现方法及系统。包括：由主控节点对样本分块，并将分块样本分配给至少两个计算节点，由各计算节点并行参与计算，将本地样本归属到对应聚类中，并对每一个聚类统计本地各样本的样本值的和值传送给合并节点，再由合并节点得到每一个聚类的虚拟聚类中心点信息，并传送给主控节点，由主控节点判断是否进行聚类中心点更新，以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程，在聚类计算及合并过程中通过采用多个节点并行处理，解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。