Hadoop平台集群搭建

1. Linux配置hadoop环境

环境：Ubuntu10 linux、jdk-7-linux-i586.tar.gz

1.1 将jdk上传到Ubuntu

a.在虚拟机中设置->选项->共享文件夹

b.拖到指定文件

c.使用命令tar zxvf jdk-7-linux-i586.tar.gz 解压文件

d.将解压好的jdk文件夹用最高权限复移动到/usr/jdk目录里

   sudo su  

   cp -r jdk-7-linux-i586.tar.gz /usr/jdk(放在opt目录比较好)

e.设置环境变量

       sudo gedit etc/profile

f.添加java-home

   export JAVA_HOME=/usr/jdk/jdk1.7.0

   export JRE_HOME=/usr/jdk/jdk1.7.0/jre 

   Export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

   export PATH=$JAVA_HOME/bin:$PATH

 g. source /etc/profile

 

这个时候，java -version ，可以看到自己的jdk配置成功了，如果你没有出现，再看看。

 

 

1.2 配置ssh

a.sudo apt-get update

 b.sudo apt-get install openssh-server

 

结束言：ssh是一种基于公钥和私钥的加密安全方式，最开始master守护进程会产生一对密钥，称作公钥和私钥，并且把公钥发送到各个slaver，自己则把私钥保存，各个slave通过特定的机制把一串消息放回给master，后者将这串消息和自己的私钥进行核对，如果符合则连接成功。

生成本地的key，可以到根目录查看，ls -al命令，会多了一个.ssh的文件，里面会有一个私钥和公钥

复制一份公钥并重命名叫做authorized_keys，拷贝到slaver datanode节点，这里只做一个slaver，如果有多个slaver,就重复复制到不同的datanode节点上。（这里折腾了好久哦，大家要注意写法了）

接下来风别配置下面的三个文件，这里不做解释了，直接贴图，这些文件就在hadoop文件的conf文件夹里面

之后格式化hdfs，看有没有报错哦

然后就可以跑一下了，这里要注意权限问题哦，哥在这里搞了好久呢

打开网页，看看部署的结果

文件系统里面，有一个文件，这个文件就是我创建的tmp用来保存批处理文件的。至此部署成功。