基于K-means的大数据相似重复记录检测

打开文本图片集

摘  要：目前大型企业存储了大量的数据，但是数据质量令人担忧，集中表现在相似重复冗余的数据特别多，以及多个数据源的合并加重数据的冗余。大数据相似记录检测环节是数据清洗研究的重要方向。针对大数据中存在的相似重复数据的检测问题，文章提出了一种基于k-means分組聚类的检测算法，实验分析表明，该方法在确保精度不变的情况下提高了检测效率。（剩余5588字）

网站仅支持在线阅读（不支持PDF下载），如需保存文章，可以选择【打印】保存。