互联网数据挖掘与分析平台设计与实现

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：面对移动互联网中庞大的数据量，如何进行挖掘和可视化的分析是当前大数据研究的一个热点。本文搭建了一个互联网数据挖掘与分析平台，首先采用基于Scrapy框架搭建的爬虫系统从互联网络爬取了大量新闻数据与招聘数据，通过Sphinx和CoreSeek经过googlediffmatchpatch算法去重，最后利用R语言对这些数据进行可视化分析，从而为制定决策提供更好的依据。（剩余3914字）

试读结束

目录
monitor