搭建docker hadoop环境
OJHVal
9年前
来自: http://www.cnblogs.com/Qingluan/p/5188160.html
搭建Docker-Hadoop基础环境
[TOC]
简介
因为很难真正的有一个集群环境。在一般的条件下想要模拟hadoop集群的话,我只好选择docker
关于docker的简介我就不在这里写了。
详细可以看 http://www.docker.com [^ps1]
我的项目地址 http://git.oschina.net/dark.H/DDataAny
Dockerfile 文件和必要的打包文件都在我的项目里面
步骤
搭建Docker image
hadoop我使用的基础image是 ubuntu ,其实主要需要的环境如下
- JDK#7
- hadoop#2.6
- ssh
所以在基础的 images中我们需要做的是把上述的依赖安装上
其次配置一下环境
- 安装docker
首先需要安装 docker
apt-get install docker-io lxc
安装完后一般会默认配置好网卡创建一个用作docker 的集群使用的子网。但如果有问题的话,需要自己手动配置
# 主要就是一下两条就可以完成配置,具体参见我的其他blog,或者google ,baidu ip route add xxx ip addr add xxx
- 下载一个ubuntu images
docker pull ubuntu
或者使用我的ubuntu
wget -q http://git.oschina.net/dark.H/DDataAny/tree/master/resource/ubuntu.tar && sleep 1 && cut ubuntu.tar | docker load
- 使用Dockerfile 生成新的包含所有依赖的image
通过一个较小的ubuntu image 和dockerfile 生成一个新的image 我们取名为 qingluan/hadoop
docker build -t qingluan/hadoop