hadoop安装配置

jopen 10年前

Hadoop 安装配置教程

VMware: 11.0.0 build-2305329

Ubuntu版本：14.04.1

Jdk: jdk-6u45-linux-x64.bin

Hadoop: hadoop-0.20.2.tar.gz

 

 

  1. 首先安装JDK，可以到oracle官网上去下载你所需版本(http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u41-oth-JPR)

  2. 下载完成后,使用将文件拷贝到/home/vincent/目录下

  3. 更改权限；默认文件没有可执行权限

Sudo chmod 777 jdk-6u45-linux-x64.bin

  1. 使用命令:cd ~ ，

进入到/home/Vincent/目录下

 hadoop安装配置

接下来就是解压了

  1. 解压完成后，得到jdk1.6.0_45文件夹

  2. 使用命令：vi  /etc/profile  编辑profile文件，在profile文件后面添加下面的语句：

#set java enviroment

JAVA_HOME=/home/vincent/jdk1.6.0_45/

export JRE_HOME=/home/vincent/jdk1.6.0_45/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

{

注意：在此版本中，vi编辑器有可能会和方向键冲突，

问题：

   ubuntu中vi在编辑状态下方向键不能用，还有回格键不能删除等我们平时习惯的一些键都不能使用。

方案一：

解决办法：

可以安装vim full版本，在full版本下键盘正常，安装好后同样使用vi命令。

安装vim：

 ubuntu预装的是vim tiny版本，而需要的是vim full版本。执行下面的语句安装vim full版本：

   $sudo apt-get remove vim-common

   $sudo apt-get install vim

这样就行了，vim是一款优秀的软件，可以在运用中体会到。

(推荐使用)方案二：

在vi命令行使用命令“：set nocompatible”，就是设置vi不使用兼容模式。

}

  1. 接下来重启Ubuntu

  2. 重启后测试jkd

hadoop安装配置

       出现这个说明安装成功

  1. 接下来安装Hadoop

安装ssh服务

ssh可以实现远程登录和管理，详细情况请google百度

ubuntu默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。命令行：

 sudo apt-get install openssh-server

测试出入命令: ps –e |grep ssh

出现sshd说明安装成功

hadoop安装配置

  1. 终端下进入hadoop源码包所在目录，使用复制命令把hadoop源码包复制到/home/hadoop下

cp hadoop-0.20.2.tar.gz /home/hadoop

然后解压,命令行如下

tar -xzvf *.tar.gz

  1. 配置hadoop的hadoop/conf下的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

  2. 1)配置hadoop-0.20.2/conf/hadoop-env.sh，命令行：

gedit /home/hadoop/hadoop-0.20.2/conf/hadoop-env.sh

2) ctrl + f 搜索到JAVA_HOME

把前面的#去掉，加上本系统jdk路径，保存退出

  1. 配置hadoop-0.20.2/conf/core-site.xml，命令行：

gedit /home/hadoop/hadoop-0.20.2/conf/core-site.xml

在hadoop新建hadoop_tmp目录，原因是:http://blog.csdn.net/bychjzh/article/details/7830508

将如下<configuration> </configuration>之间的添加进入，保存退出:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

        <property>

            <name>fs.default.name</name>

            <value>hdfs://localhost:9000</value>

        </property>

    <property>

          <name>hadoop.tmp.dir</name>

          <value>/home/hadoop/hadoop-0.20.2/hadoop_tmp</value>

         <description>A base for other temporary directories.</description>

    </property>

</configuration>

  1. 配置hadoop-1.2.1/conf/mapre-site.xml，命令行：

 gedit /home/hadoop/ hadoop-0.20.2/conf/mapre-site.xml.xml

将如下<configuration> </configuration>之间的添加进入，保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>localhost:9001</value>

    </property>

</configuration>

  1. 配置hadoop-0.20.2/conf/hdfs-site.xml，命令行：

gedit /home/hadoop/ hadoop-0.20.2/conf/hdfs-site.xml

将如下<configuration> </configuration>之间的添加进入，保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

至此hadoop的安装配置已经完毕，稍后的是hadoop的初次运行操作

  1. 格式化hdfs文件系统

进入hadoop-0.20.2/bin

当你看到下图时

hadoop安装配置

恭喜你，hdsf文件系统格式化成功

  1. 启动hadoop服务

出现如下画面

hadoop安装配置

  1. jps是查看java虚拟机运行的java线程

然后出现如下画面

hadoop安装配置

不计jps，有五个hadoop相关线程，恭喜你，hadoop安装配置成功，运行正常。

然后可以退出hadoop。，以后再用时再启动，导入数据。

  1. 测试：

浏览器输入http://127.0.0.1:50030/

hadoop安装配置

浏览器输入http://127.0.0.1:50070/

hadoop安装配置

  1. 分布式Hadoop

  2. a)        首先再次新建一个Ubuntu虚拟机

  3. b)        并且安装openssh-server

  4. c)        查看此虚拟机的IP地址：192.168.114.132

  5. d)        在第一个虚拟机中执行：

hadoop安装配置

这样就把jdk复制到新建的虚拟机中了

  1. 配置如下信息：

hadoop-env.sh

hadoop安装配置

core-site.xml

hadoop安装配置

 

hdfs-site.xml

hadoop安装配置

mapred-site.xml

hadoop安装配置

masters

hadoop安装配置

 

slaves

hadoop安装配置

 

拷贝Hadoop-0.20.2到其他虚拟机中：

sudo scp -r hadoop-0.20.2/ vincent@192.168.114.132:~/home/

  1. ssh无密码登录

创建ssh-key，这里我们采用rsa方式，命令行如下：

ssh-keygen -t rsa -P ""

hadoop安装配置

hadoop安装配置

在master中，运行./start-all 的时候，会出现 cannot mv ……permission deny，是因为权限的问题，在slave中设置Hadoop0.20.2权限，chmod –r 777 /hadoop0.20.2  （注意-R 选项）

在master中启动./start-all.sh时候在master中有

hadoop安装配置

在slave中有tasktracker和jps，但是没有datanode，在输入网址时 http://192.168.114.128:50030/ 中node值为0；

查看日志，原来在slave中没有设置  dfs.data.dir  : /usr/hadoop-0.20.2/data 的权限，在slave中使用命令 设置该权限：hadoop安装配置

注意命令选项 –R ，意思是该路径下的所有文件