公开(公告)号：CN101996197B

公开(公告)日：2012-12-26

申请号：CN200910091864.8

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了聚类实现方法及系统。包括：由主控节点对样本分块，并将分块样本分配给至少两个计算节点，由各计算节点并行参与计算，将本地样本归属到对应聚类中，并对每一个聚类统计本地各样本的样本值的和值传送给合并节点，再由合并节点得到每一个聚类的虚拟聚类中心点信息，并传送给主控节点，由主控节点判断是否进行聚类中心点更新，以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程，在聚类计算及合并过程中通过采用多个节点并行处理，解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。

公开(公告)号：CN102141988B

公开(公告)日：2014-09-10

申请号：CN201010102976.1

申请日：2010-01-28

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  徐萌 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  陶涛 ,  何鸿凌 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置，主要包括：A、主控节点将分块数据对象分发给至少两个计算节点；B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价；C、获取每个计算节点的执行结果，并是否存在小于零的替换代价；若是，确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象，替换中心点对象，并返回步骤B；若否，则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案，提高了计算效率，并且应用于海量数据的处理需求。

公开(公告)号：CN101996198A

公开(公告)日：2011-03-30

申请号：CN200910091866.7

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了一种聚类实现方法及系统。由主控节点将候选队列中的候选样本进行分片，由至少两个计算节点并行地根据设定的ε邻域和最小密度分别确定出分配的分片样本中的每一个样本是否为核心样本；由于各计算节点并行处理，加快了样本数据库中各样本所属聚类的标记速度。本发明公开的另一种聚类实现方法及系统，由主控节点对样本数据库中当前未标记样本进行分块，将分块样本分配并下发给至少两个计算节点，由各计算节点并行地对候选队列中的候选样本进行处理，再通过合并节点合并各计算节点的处理结果。由于每个计算节点仅处理部分样本，解决了海量数据无法单机处理的问题，且由于可以由多个计算节点及多个并合节点进行并行处理，大大提高了处理效率。

公开(公告)号：CN101996197A

公开(公告)日：2011-03-30

申请号：CN200910091864.8

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了聚类实现方法及系统。包括：由主控节点对样本分块，并将分块样本分配给至少两个计算节点，由各计算节点并行参与计算，将本地样本归属到对应聚类中，并对每一个聚类统计本地各样本的样本值的和值传送给合并节点，再由合并节点得到每一个聚类的虚拟聚类中心点信息，并传送给主控节点，由主控节点判断是否进行聚类中心点更新，以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程，在聚类计算及合并过程中通过采用多个节点并行处理，解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。

公开(公告)号：CN102141988A

公开(公告)日：2011-08-03

申请号：CN201010102976.1

申请日：2010-01-28

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  徐萌 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  陶涛 ,  何鸿凌 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置，主要包括：A、主控节点将分块数据对象分发给至少两个计算节点；B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价；C、获取每个计算节点的执行结果，并是否存在小于零的替换代价；若是，确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象，替换中心点对象，并返回步骤B；若否，则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案，提高了计算效率，并且应用于海量数据的处理需求。

公开(公告)号：CN101996198B

公开(公告)日：2016-06-29

申请号：CN200910091866.7

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 徐萌 ,  高丹 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  赵卫中 ,  马慧芳

IPC: G06F17/30

Abstract: 本发明公开了一种聚类实现方法及系统。由主控节点将候选队列中的候选样本进行分片，由至少两个计算节点并行地根据设定的ε邻域和最小密度分别确定出分配的分片样本中的每一个样本是否为核心样本；由于各计算节点并行处理，加快了样本数据库中各样本所属聚类的标记速度。本发明由主控节点对样本数据库中当前未标记样本进行分块，将分块样本分配并下发给至少两个计算节点，由各计算节点并行地对候选队列中的候选样本进行处理，再通过合并节点合并各计算节点的处理结果。由于每个计算节点仅处理部分样本，解决了海量数据无法单机处理的问题，且由于可以由多个计算节点及多个并合节点进行并行处理，大大提高了处理效率。