基于MapReduce和MSSA的并行K-means算法

打开文本图片集

摘 要：针对大数据环境下并行K-means算法存在的面对高维数据聚类效果差、数据分区不均匀、初始质心敏感等问题，提出了一种基于MapReduce和MSSA的并行K-means算法MR-MSKCA。首先，提出基于肯德尔相关系数和深度稀疏自动编码器的降维策略（dimensionality reduction strategy based on Kendall correlation coefficient and DSAE，DRKCAE）对高维数据进行特征加权和特征提取，解决了高维数据不相关特征和结构稀疏导致的聚类效果差的问题；其次，提出基于两段映射的广义超平面分区策略 （uniform partition strategy based on two-stage mapping，UPS）对数据集进行划分，获取均匀的数据分区；最后提出非均匀变异麻雀搜索算法 （non-uniform mutation sparrow search algorithm，MSSA）用于获取并行K-means的聚类质心，解决了算法初始质心敏感的问题。（剩余23860字）