站長資訊網一、說明
| 節點(CentOS7.5) | Server || Agent | CPU |
| node11 | Server || Agent | 4G |
| node12 | Agent | 2G |
| node13 | Agent | 2G |
二、系統環境搭建
1、網絡配置(所有節點)
1．設置主機名和IP
2．配置/etc/hosts IP和主機名的映射
2、SSH免密碼登錄
1．產生公鑰和私鑰：ssh-keygen -t rsa （一直回車直即可）
2．將公鑰分發給所有節點（包括本機)： ssh-copy-id -i 主機名
3．測試ssh訪問: ssh root@主機名
3、關閉防火墻
1．關閉防火墻：systemctl stop firewalld
2．防止開機自啟：systemctl disable firewalld
3．查看狀態：firewall-cmd –state
4、關閉SELINUX
1．編輯 vi /etc/selinux/config
2．將SELINUX設置為：SELINUX=disabled
[root@node11~]# sestatus -v
SELinux status: disabled 表示已經關閉了
5、安裝JDK
1．查看安裝的Java信息：
rpm -qa | grep java
2．卸載自帶open jdk
rpm -e –nodeps 包名
3．創建/usr/java目錄，并上傳包到此目錄下，然后將rpm包解壓到此目錄下
rpm -ivh jdk-8u191-linux-x64.rpm
4．配置環境變量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5．使配置后的環境變量生效
source /etc/profile
6．查看是否安裝成功
java -version
6、設置NTP
[root@node11~]#yum -y install ntp 更改master的節點
[root@node11~]## vi /etc/ntp.conf 注釋掉所有server *.*.*的指向，新添加一條可連接的ntp服務器(我選的本公司的ntp測試服務器)
server 172.30.0.19 iburst 在其他節點上把ntp指向master服務器地址即可(/etc/ntp.conf下) server node11 iburst
[root@node11~]## systemctl start ntpd //啟動ntp服務
[root@node11~]## systemctl status ntpd //查看ntp服務狀態
7、安裝配置MySql
（主節點安裝即可–這里將node11作為主節點）
1．卸載mariadb
rpm -qa|grep mariadb
rpm -e –nodeps mariadb的包名
2．上傳MySQL包到自建目錄：/opt/software
3．安裝MySQL
# groupadd mysql # useradd -r -g mysql -s /sbin/nologin mysql #cd /usr/local/ # tar zxvf /root/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz # ln -s mysql-5.7.21-linux-glibc2.12-x86_64/ mysql #cd mysql # mkdir mysql-files # chown -R mysql.mysql . # bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data # cp -rf /etc/my.cnf /etc/my.cnf.old # vim /etc/my.cnf [mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data skip-grant-tables 啟動mysql
# bin/mysqld_safe --user=mysql &# cp support-files/mysql.server /etc/init.d/mysql # chmod a+x /etc/init.d/mysql # chkconfig --add mysql # chkconfig mysql on # service mysql start設置root的密碼
mysql> use mysql; mysql> update user set authentication_string=PASSWORD('123456') where User='root'; mysql> alter user root@'localhost' identified by '123456'; //修改密碼重新初始化
# killall mysqld # rm -rf /usr/local/mysql/data/ # chown -R mysql.mysql /usr/local/mysql # bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data # bin/mysql_ssl_rsa_setup # service mysqld restart授權root用戶使用密碼從任意主機連接到mysql服務器
GRANT ALL PRIVILEGES ON *.* TO ‘ROOT’@’%’ IDENTIFIED BY ‘1234’ WITH GRANT OPTION;
flush privileges;
三、Cloudera Manager Server&Agent安裝
CM安裝包下載地址: https://archive.cloudera.com/cm5/cm/5/
CDH安裝包下載地址： http://archive.cloudera.com/cdh5/parcels/5.15.0/
1、安裝Cloudera Manager Server&Agent
上傳到/home/tools下 (三臺機器都要安裝) tar xvzf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz -C /opt
2、配置CM Agent
1.cm的安裝包的server和agent都是同一個包，啟動的時候啟動命令指定為server還是agent；
2.cm有一個工作目錄，需要我們來創建；創建一個用戶；修改agent的配置，給它指定server的位置；那個端口7182是server和agent通信的端口；
3.server_host配置為server的名字；
vi /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini 中 server_host(三臺機器)
3、創建用戶cloudera-scm（所有節點）
useradd –system –home=/opt/cm-5.15.0/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
4、創建Parcel目錄
創建parcel目錄，這個目錄是server和agent用來接收和發送數據的目錄，server端的parcel-repo這個目錄會把所有的安裝文件全部下載到此目錄，而agent也需要安裝包，parcels就是用來存儲指定的安裝包的，當然需要有權限能操作這些目錄；
Server節點
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
把CDH安裝包移到cloudera/parcel-repo下面,并修改其中后綴為sha1的文件為sha,如下
5、配置CM Server的數據庫
cp mysql-connector-java.jar /opt/cm-5.15.0/share/cmf/lib/ 注意jar包名稱要修改為mysql-connector-java.jar
mysql -u root -p123456 use mysql; grant all on *.* to 'root'@'%' identified by 'root' with grant option; flush privileges; 初始化cm數據庫: cd /opt/cm-5.15.0/share/cmf/schema/ ./scm_prepare_database.sh mysql cm -h node11 -uroot -p123456 --scm-host node11 scm scm scm 格式：數據庫類型、數據庫、數據庫服務器、用戶名、密碼、cm server服務器
創建其他組件需要的數據庫
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
6、啟動CM Manager&Agent服務
先確保啟動了mysql service mysqld start
node11:執行 /opt/cm-5.15.0/etc/init.d/cloudera-scm-server start
node11,12,13: 執行 /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start
service服務啟動需要幾分鐘，取決于服務器的性能，此時我們可以使用
netstat -apn|grep 7180
查詢端口被占用后，就可以用瀏覽器打開http://node11:7180/進行訪問了，登錄用戶名與密碼分別為admin。
7、Server&Agent開機自啟動服務
將/opt/cm-5.15.0/etc/init.d/目錄下的cloudera-scm-server服務器啟動腳本和cloudera-scm-agent代理服務啟動腳本復制到/etc/init.d/目錄下面。（/etc/init.d/目錄用于存放開機啟動腳本的目錄）
//配置server主節點node11 [root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server [root@node11 ~]# chkconfig --add cloudera-scm-server [root@node11 ~]# chkconfig cloudera-scm-server on [root@node11 ~]# vi /etc/init.d/cloudera-scm-server CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改為 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default} #你的cloudera manager安裝目錄，然后保存???出即可。 添加：export JAVA_HOME=/usr/local/java/jdk1.8 #你的java安裝目錄 [root@node11 ~]# chkconfig --list cloudera-scm-server //然后查看狀態,如果2-5顯示開啟表示配置成功。 [root@node11 ~]# service cloudera-scm-server start & systemctl start cloudera-scm-server.service
//配置agent所有節點,node11,node12,node13 [root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent [root@node11 ~]# chkconfig --add cloudera-scm-agent [root@node11 ~]# chkconfig cloudera-scm-agent on [root@node11 ~]# vi /etc/init.d/cloudera-scm-agent CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改為 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default} 添加：export JAVA_HOME=/usr/local/java/jdk1.8 #你的java安裝目錄 [root@node11 ~]# service cloudera-scm-agent start & systemctl start cloudera-scm-agent.service
四、CDH5安裝
下一步,選擇免費版本
繼續,下一步,直到如下界面,可以在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，這里我選擇全部節點，繼續。
選擇自己下載的CDH版本,點擊繼續
接下來是安裝Parcel,服務器檢查，
更改交換空間:
echo 10 > /proc/sys/vm/swappiness
如下禁用此設置，然后將同一命令添加到 /etc/rc.local 等初始化腳本中，以便在系統重啟時予以設置。以下主機將受到影響:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
重新運行檢測,
全部完成,點擊完成,這里選擇自定義安裝
服務配置，一般情況下保持默認就可以了，也可以自己手動根據節點情況進行分配，點擊繼續
測試如下數據庫連接
這里啟動hive報錯找不到mysql連接驅動包,靠備一份 mysql-connector-java.jar 到 /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hive/lib/下面
點擊繼續,默認集群設置,直到安裝成功.
