hadoop配置文件

NevMMQ 9年前

来自： http://my.oschina.net/673236963/blog/634873


hadoop 1X系列的五大守护进程:

1.NameNode,

它是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的万能键

2.DataNode,

负责管理连接到节点存储(一个 集群中可以有多个节点),每个存储数据的节点运行一个datanode守护进程.

3.SecondaryNameNode

它不是namenode的哦冗余守护 进程,而是提供周期检查点和清理任务,出于对可扩展性和容错性考虑,一般我们把它和namenode放开放在两台不同的服务器上

4.JobTracker,5.TaskTracker

负责调度datanode上的工作,每个datanode上有个tasktracker,它们执行实际工作.JobTracker和TaskTracker采用主-从形式.JobTracker跨Datanode分发工作,TaskTracker执行任务.JobTracker还检查请求的工作,如果一个DataNode由于某种原因失败,JobTracker会重新调度以前的任务.


一.基础配置文件

1.core-site.xml    配置hadoop common project相关的属性配置,也就是以前的hadoop core project项目的相关配置.属于基础框架的配置


上一个是namenode守护进程.主机名和端口号.下面一个是hadoop临时目录,也是文件系统的目录.

2.hdfs-site.xml    配置HDFS project文件系统的相关属性配置

上一个是设置hdfs的副本数,第二个是文件的权限,这里设置不检查权限

3mapred-ste.xml    配置与mapreduce框架的相关配置.

制定JobTracker的主机和端口号.

二.额外配置文件

4.Masters:主节点,但并不是配置hadoop中的主节点的相关信息,配置hdfs辅助节点辅助节点的信息

指定SecondaryNameNode的位置,一行代表一个主机,可以配置多个.

5.slaves:从节点,配置hdfs和mapreduce框架的从节点信息

指定DataNode和TaskTracker的位置,这里和Masters一样,也可以配置多台机器.

小结:从上面我们可以看到hadoop的五大守护进程其实就是上面的1.3.4.5四点去配置的.