基于Docker的Hadoop完全分布式集群快速部署

打开文本图片集

摘要： Docker是Paas提供商dotcloud公司研发的一个基于LXC的高级容器引擎，具有一次构建，到处运行优势。当前在Hadoop技术的发展中，如何把Docker技术应用于Hadoop平台的建立，尤其是对于Hadoop on Docker规模部署问题的解决，一直是一个备受关注的技术难点。针对以上问题，文章提出基于Docker的一键部署Hadoop7层解决方案，首先从Docker环境部署入手，简要介绍了镜像部署以及容器部署的过程，重点分析并实现了Hadoop集群（HDFS+YARN）的一键部署方法，并通过bind mounts（绑定挂载）方式解决了集群数据存储问题，给出关键脚本代码的实现过程。（剩余8806字）