公开(公告)号：CN102222092B

公开(公告)日：2013-02-27

申请号：CN201110148982.5

申请日：2011-06-03

Applicant: 复旦大学

Inventor： 廖松博 ,  何震瀛 ,  汪卫

IPC: G06F17/30

Abstract: 本发明属于云计算与数据挖掘技术领域，具体为一种MapReduce平台上的海量高维数据聚类方法。该方法首先对原始数据的每一维进行分割，用切分好的非空小格代替原数据中的点集进行聚类，减小数据规模。利用MapReduce的开源实现，使得聚类过程可以在分布式集群上并行完成，克服了单机算法在存储和计算上的限制。聚类过程采用K-mediods算法的思想，并提出高效的欧式距离计算方法。本发明适用于处理海量高维数据，用户可以根据集群的计算能力、算法的时间期望以及对聚类精确性的要求对算法进行手动调整，满足了不同用户的需要。

公开(公告)号：CN102222092A

公开(公告)日：2011-10-19

申请号：CN201110148982.5

申请日：2011-06-03

Applicant: 复旦大学

Inventor： 廖松博 ,  何震瀛 ,  汪卫

IPC: G06F17/30

Abstract: 本发明属于云计算与数据挖掘技术领域，具体为一种MapReduce平台上的海量高维数据聚类方法。该方法首先对原始数据的每一维进行分割，用切分好的非空小格代替原数据中的点集进行聚类，减小数据规模。利用MapReduce的开源实现，使得聚类过程可以在分布式集群上并行完成，克服了单机算法在存储和计算上的限制。聚类过程采用K-mediods算法的思想，并提出高效的欧式距离计算方法。本发明适用于处理海量高维数据，用户可以根据集群的计算能力、算法的时间期望以及对聚类精确性的要求对算法进行手动调整，满足了不同用户的需要。