Cloudera Hadoop 安装CDH 5.8.3
Hadoop
2020-01-15
381
0
安装前准备
联网
DHCP
dhclient eth0
若要每次启动自动运行,则需要修改/etc/sysconfig/network-scripts/ifcfg-eth0将ONBOOT="no"改为ONBOOT="yes"
静态IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
添加以下内容
IPADDR=192.168.1.8
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
ONBOOT=no更改为ONBOOT=yes
BOOTPROTO=dhcp更改为BOOTPROTO=none
repo源
替换YUM源
yum install lrzsz
repo下载地址 https://lug.ustc.edu.cn/wiki/mirrors/help/centos
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
mv CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo
下载Cloudera Manager repo 文件
cd /etc/yum.repos.d/
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
卸载自带的OPEN-JDK
查看系统中有那些OpenJdk
rpm -qa | grep java
删除
rpm -e java-1.6.0-openjdk-1.6.0.38-1.13.10.0.el6_7.x86_64
rpm -e java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el6_7.x86_64
安装Oracle JDK
前面已经装过的话这里可以忽略
sudo yum install oracle-j2sdk1.7
找到安装目录并设置Java环境变量
rpm -ql oracle-j2sdk1.7
关闭 SELINUX
编辑/etc/selinux/config设置SELINUX=disabled
其他准备工作请参考 Hadoop 群集部署
关闭防火墙（所有节点）
CentOS 6
service iptables stop
chkconfig iptables off
CentOS 7
systemctl stop firewalld.service
systemctl disable firewalld.service
SSH无密码登陆节点
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
修改各节点主机名以及Hosts
sudo vim /etc/sysconfig/network
scp /etc/hosts root@slave1:/etc/hosts
service network restart
正式安装
在主机上安装Cloudera Manager 服务包
sudo yum install cloudera-manager-daemons cloudera-manager-server
或离线安装
$ sudo yum --nogpgcheck localinstall cloudera-manager-daemons-*.rpm
$ sudo yum --nogpgcheck localinstall cloudera-manager-server-*.rpm
配置CM数据库
1.Hadoop:Cloudera Manager 数据库配置
2.运行 /usr/share/cmf/schema/scm_prepare_database.sh 进行CM初始化
3.以之前配置的MySQL为例
/usr/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -phadoop --scm-host localhost scm scm scm
安装Cloudera Manager Agent包
其实到这个阶段可以直接启动Cloudera Manager服务自动安装部署了.但是网络关系,可以先在每台机器上安装好.
在每个节点上安装Cloudera Manager Agent包(including those that will run one or more of the Cloudera Management Service roles: Service Monitor, Activity Monitor, Event Server, Alert Publisher, or Reports Manager)
$ sudo yum install cloudera-manager-agent cloudera-manager-daemons
准备Parcel Repository
还是网络的关系,虽然可以通过CM安装,但是天朝的渣网络会让你抓狂. 可以根据官方文档自己设置Parcel源
启动Cloudera Manager服务
$ sudo service cloudera-scm-server start
访问Cloudera Manager 控制台进行正式安装
http://Serverhost:port 端口默认为7180
其他配置
1.安装过程中可能会提示swappiness设置问题,CM建议设置为10
sysctl -w vm.swappiness=1
2.查看
cat /proc/sys/vm/swappiness
编辑/etc/sysctl.conf 文件,然后添加vm.swappiness=1
2.huge page CM建议禁用
echo never > /sys/kernel/mm/transparent_hugepage/defrag
编辑/etc/rc.local 将上条命令加入
3.指定主机的 SSH 登录方式 一种通过root用户，密码需要一致，刚开始安装建议使用root。 也可以使用非root用户，但是需要保证sudo无密码访问 实现方法如下
给aboutyun用户设置无密码sudo权限：
chmod u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试：
sudo ifconfig
4.NTP服务
如果NTP服务未开启,CM就会报以下错误 The host's NTP service could not be located or did not respond to a request for the clock offset. 按照以下步骤检查即可.
- 检查群集中各/etc/ntp.conf 文件是否一致
- 停止ntp服务 /etc/init.d/ntpd stop
- 手动同步一次 ntpdate -u 0.centos.pool.ntp.org
- 启动ntp服务/etc/init.d/ntpd start
- 配置随系统启动chkconfig ntpd on
- 检查状态 ntpstat
参考
Installation Path B - Manual Installation Using Cloudera Manager Packages Cloudera Manager5及CDH5在线（cloudera-manager-installer.bin）安装详细文档 从零自学Hadoop(04)：Linux准备下 使用条块化I/O管理多个LVM磁盘（第五部分） 迁移Cloudera Manager Server 至另一个节点 Installing Cloudera (CDH 5 ) on Centos Linux CDH5.3.3安装（hadoop集群）