基于Scrapy-Redis的分布式爬取当当网图书数据

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘  要：单机的网络爬虫爬取数据效率较低，而研究分布式网络爬虫能有效提高数据的爬取效率。文中选择使用上更为简单的Scrapy-Redis框架，设计一个架构模式为主从式的分布式网络爬虫系统，实现对当当网图书信息的爬取；并对布隆过滤器算法进行研究，分析影响其性能的参数，将算法集成到Scrapy-Redis的Scheduler的去重模块中。（剩余6520字）

试读结束

目录
monitor