This website requires JavaScript.

Cloudera Hadoop 安装CDH 5.8.3

安装前准备

联网

DHCP

dhclient eth0

若要每次启动自动运行,则需要修改/etc/sysconfig/network-scripts/ifcfg-eth0将ONBOOT="no"改为ONBOOT="yes"

静态IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

添加以下内容

IPADDR=192.168.1.8
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
ONBOOT=no更改为ONBOOT=yes
BOOTPROTO=dhcp更改为BOOTPROTO=none

repo源

替换YUM源

yum install lrzsz

repo下载地址 https://lug.ustc.edu.cn/wiki/mirrors/help/centos

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
mv CentOS-Base.repo  /etc/yum.repos.d/CentOS-Base.repo

下载Cloudera Manager repo 文件

cd /etc/yum.repos.d/
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

卸载自带的OPEN-JDK

查看系统中有那些OpenJdk

rpm -qa | grep java

删除

rpm -e java-1.6.0-openjdk-1.6.0.38-1.13.10.0.el6_7.x86_64
rpm -e java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el6_7.x86_64

安装Oracle JDK

前面已经装过的话这里可以忽略

sudo yum install oracle-j2sdk1.7

找到安装目录并设置Java环境变量

rpm -ql oracle-j2sdk1.7

关闭 SELINUX

编辑/etc/selinux/config设置SELINUX=disabled

其他准备工作请参考 Hadoop 群集部署

关闭防火墙(所有节点)

CentOS 6

service iptables stop
chkconfig iptables off

CentOS 7

systemctl stop firewalld.service
systemctl disable firewalld.service

SSH无密码登陆节点

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

修改各节点主机名以及Hosts

sudo vim /etc/sysconfig/network
scp /etc/hosts root@slave1:/etc/hosts
service network restart

正式安装

在主机上安装Cloudera Manager 服务包

sudo yum install cloudera-manager-daemons cloudera-manager-server

或离线安装

$ sudo yum --nogpgcheck localinstall cloudera-manager-daemons-*.rpm
$ sudo yum --nogpgcheck localinstall cloudera-manager-server-*.rpm

配置CM数据库

1.Hadoop:Cloudera Manager 数据库配置

2.运行 /usr/share/cmf/schema/scm_prepare_database.sh  进行CM初始化

3.以之前配置的MySQL为例

/usr/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -phadoop --scm-host localhost scm scm scm

安装Cloudera Manager Agent包

其实到这个阶段可以直接启动Cloudera Manager服务自动安装部署了.但是网络关系,可以先在每台机器上安装好.

在每个节点上安装Cloudera Manager Agent包(including those that will run one or more of the Cloudera Management Service roles: Service Monitor, Activity Monitor, Event Server, Alert Publisher, or Reports Manager)

$ sudo yum install cloudera-manager-agent cloudera-manager-daemons

准备Parcel Repository

还是网络的关系,虽然可以通过CM安装,但是天朝的渣网络会让你抓狂. 可以根据官方文档自己设置Parcel源

启动Cloudera Manager服务

$ sudo service cloudera-scm-server start

访问Cloudera Manager 控制台进行正式安装

http://Serverhost:port 端口默认为7180

其他配置

1.安装过程中可能会提示swappiness设置问题,CM建议设置为10

sysctl -w vm.swappiness=1

2.查看

cat /proc/sys/vm/swappiness

编辑/etc/sysctl.conf  文件,然后添加vm.swappiness=1

2.huge page CM建议禁用

echo never > /sys/kernel/mm/transparent_hugepage/defrag

编辑/etc/rc.local 将上条命令加入

3.指定主机的 SSH 登录方式 一种通过root用户,密码需要一致,刚开始安装建议使用root。 也可以使用非root用户,但是需要保证sudo无密码访问 实现方法如下

给aboutyun用户设置无密码sudo权限:

chmod u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers

测试:

sudo ifconfig

4.NTP服务

如果NTP服务未开启,CM就会报以下错误 The host's NTP service could not be located or did not respond to a request for the clock offset. 按照以下步骤检查即可.

  • 检查群集中各/etc/ntp.conf 文件是否一致
  • 停止ntp服务 /etc/init.d/ntpd stop
  • 手动同步一次  ntpdate -u 0.centos.pool.ntp.org
  • 启动ntp服务/etc/init.d/ntpd start
  • 配置随系统启动chkconfig ntpd on
  • 检查状态 ntpstat

参考

Installation Path B - Manual Installation Using Cloudera Manager Packages Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档 从零自学Hadoop(04):Linux准备下 使用条块化I/O管理多个LVM磁盘(第五部分) 迁移Cloudera Manager Server 至另一个节点 Installing Cloudera (CDH 5 ) on Centos Linux CDH5.3.3安装(hadoop集群)

0条评论
avatar