hadoop再次集群搭建（5）-CDH Install
jopen
9年前
登录 http://node1.com:7180/.用户名和密码都是admin。启动服务命令是
service cloudera-scm-server start 最开始两个页面直接continue,然后会出现下面这个页面：
可以看出我们可以通过Cloudera Manager安装的hadoop组件。
接下来，配置我们要安装的服务器有哪些：
我这里有三台服务器。
接下来选择cdh版本：我选择最新的5.5.1
是否安装jdk:
是否是单用户模式：我选择不适用
在常规 Cloudera Manager 部署中，管理每个主机上的 Hadoop 进程的 Cloudera Manager Agent 以根用户运行。但是，某些环境限制对根帐户的访问。
Cloudera Manager 5.3 提供了单用户模式，从而满足了对些类环境的要求。在单用户模式中，Cloudera Manager Agent 和所有由 Cloudera Manager 所管理服务运行的进程作为单个配置的用户和组启动。在系统上运行的 Hadoop 进程之间，单用户模式确定 Hadoop 与系统其他部分（隔离以外）之间的隔离的优先级。
在 Cloudera Manager 部署中，单用户模式为全局模式，并且适用于所有由该 Cloudera Manager 实例管理的群集。
默认情况下，单用户为 cloudera-scm，并且在以下部分所描述的配置步骤中假定该用户用单用户。但是，也支持其他用户。如果选择其他用户，请在以下步骤中使用所选用户替换 cloudera-scm，并执行 使用非默认单用户 中的附加步骤。
接下来提供集群的 ssh登录配置。
这里选择了root用户，选择hadoop怎么弄都不行，现在还是没有找到原因。我的hadoop是有user权限的，不知道为什么不行。
接下来就是安装界面：
可以查看details看到运行的脚本。也可以通过网络监控查看下载的速度：
可以看出下载速度其实挺快的。有这个网络监控工具可以大致看到集群内部的连接状态：
安装过程中node2老是报错，经过检查原来是node2上面的hosts文件配置错误，导致不能创建socket。所以集群一定要保证每一台服务器都可以相互通信，这是前提。
然后就是安装cdh了：
下载完成，分发：这里下载只是在server这个机器上下载，下载一次之后分发给其他的服务器：
安装成功之后，进行集群检查，出现如下提示：
第一个警示是：系统的交换参数是60而集群要求的是10，需要进行修改
第二个是 Transparent Huge Page Compaction开启，会极大的影响集群的性能，需要关闭。
修改步骤：
第一个是 /proc/sys/vm/swappiness的值为60 而不是10，而这个文件是不能够修改的。解决方法是修改 /etc/sysctl.conf 增加vm.swappiness=10在最后
第二个直接运行echo never > /sys/kernel/mm/transparent_hugepage/defrag 然后增加同样的命令道系统初始化的脚本中。 /etc/rc.local 加在这个文件里面
然后是设置集群
集群配置我选择默认，感觉node1服务比较多，配置低的盆友可以适当均匀一下。
然后是测试数据库：集群需要使用数据库进行工作，包括hive等进行存储元数据
完成安装：
Charles 于2015-12-17 Phnom Penh
版权说明：
本文由Charles Dong原创，本人支持开源以及免费有益的传播，反对商业化谋利。
CSDN博客：http://blog.csdn.net/mrcharles
</div> 个人站：http://blog.xingbod.cn
EMAIL：charles@xingbod.cn
</div>
来自： http://blog.csdn.net//mrcharles/article/details/50357254