hadoop-2.4.0完全分布式集群搭建
新版本日志系统预计存储在TB级别，并且需要统计分析一些数据（离线统计，非即时），所以选择廉价linux服务器搭建一个hadoop集群，1个namenode，1个resourcemanager(mapreduce新框架yarn，去掉了原来的 jobtracker和tasktracker，取而代之的是ResourceManager, ApplicationMaster 与 NodeManager)，3个datanonde。
1.配置hosts
各linux版本hosts文件位置可能不同，我的是在 /etc/hosts，在master上编辑之：
172.17.0.1 master
172.17.0.2 resorucemanager
172.17.0.3 datanode1
172.17.0.4 datanode2
172.17.0.5 datanode3
然后copy到其余四台服务器，然后分别执行 /bin/hostsname hostsname
例如：master上执行 /bin/hostsname master，使之生效。
2.配置ssh
a.创建hadoop用户
注意：hadoop有两种运行模式，安全模式和非安全模式。安装模式是以指定在健壮的，基于身份验证上运行的，如果无需运行在非安全模式下，可以直接使用root用户。
安全模式下要确保hdfs和yarn以不同的用户身份运行，如hdfs和yarn，还有确保mapreduce jobhistory server以user mapred运行。推荐这三个身份使用一个组名为hadoop
| 用户：组 | 运行进程 |
| hdfs:hadoop | NameNode, Secondary NameNode, Checkpoint Node, Backup Node, DataNode |
| yarn:hadoop | ResourceManager, NodeManager |
| mapred:hadoop | MapReduce JobHistory Server |
首先在master主机上创建用户hdfs，执行操作：
groupadd hadoop
useradd -g hadoop hdfs
然后在其余四台服务器上创建用户yarn，执行操作：
groupadd hadoop
useradd -g hadoop yarn
最后在MapReduce JobHistory服务器上（我的为resourcemanager）创建用户mapred
groupadd hadoop
useradd -g hadoop mapred
b. 配置master无密码ssh各服务器
在master执行操作：
su hdfs
ssh-keygen -t rsa，然后一直回车
在/home/hdfs/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
cat id_rsa.pub > ./authorized_keys
然后复制到其他服务器（若没有.ssh文件夹需要自行创建）
scp authorized_keys yarn@resourcemanager:/home/yarn/.ssh/
scp authorized_keys mapred@resourcemanager:/home/yarn/.ssh/
scp authorized_keys yarn@datanode1:/home/yarn/.ssh/
scp authorized_keys yarn@datanode2:/home/yarn/.ssh/
scp authorized_keys yarn@datanode3:/home/yarn/.ssh/
验证能否无密码ssh，在master服务器上执行操作：
ssh hdfs@master
ssh yarn@resourcemanager
ssh mapred@resourcemanager
ssh yarn@datanode1
ssh yarn@datanode2
ssh yarn@datanode3
注意：第一次可能会提示输入yes or no，之后就可以直接ssh到其他主机上去了。
3.配置jdk和hadoop环境变量
版本：jdk1.7.0_55 hadoop-2.4.0
下载并解压到
/opt/tools/jdk1.7.0_55
/opt/hadoop-2.4.0
编辑 /etc/profile，在最后加上
export JAVA_HOME=/opt/tools/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
保存退出，执行 source /etc/profile 生效
执行java -version 和 hadoop version，能看到版本号那么环境配置ok
4.配置hadoop
配置文件在hadoop-2.4.0/etc/hadoop/ 目录下
a.在yarn-env.sh 和hadoop-env.sh文件中加上jdk路径
export JAVA_HOME=/opt/tools/jdk1.7.0_55
b.core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<final>true</final>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/tmp/hadoop-${user.name}</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
c.hdfs-site.xm
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
d.mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>Execution framework set to Hadoop YARN.</description>
</property>
</configuration>
e.yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>jobtracker:9001</value>
<description>The address of the applications manager interface in the RM.</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>jobtracker:18030</value>
<description>The address of the scheduler interface,in order for the RM to obtain the resource from scheduler</description>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>jobtracker:18025</value>
<description>The address of the resource tracker interface for the nodeManagers</description>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>jobtracker:18035</value>
<description>The address for admin manager</description>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>jobtracker:18088</value>
<description>The address of the RM web application.</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
f.slaves
在该文件中添加
datanode1
datanode2
datanode3
注意：上面配置文件中出现的目录需要自己创建。配置文件需要复制到各个服务器上，并且个服务器目录结构要相同。
5.运行hadoop
在master上执行：
hdfs namenode -format
/opt/hadoop-2.4.0/sbin/start-dfs.sh
在resourcemanager上执行：
/opt/hadoop-2.4.0/sbin/start-yarn.sh
若一切顺利，在各服务器上输入jps，
master显示：
30739 Jps
9547 NameNode
9746 SecondaryNameNode
resourcemanager显示：
2917 Jps
27910 ResourceManager
datanode显示：
24334 Jps
1594 NodeManager
1027 DataNode
至此，一个完全分布式hadoop集群搭建成功