docker搭建Hadoop?CDH高可用集群實現(xiàn)
首先我們?yōu)榱酥罄^續(xù)搭建軟件,這里沒有使用docker-compose,而是通過構(gòu)建四臺centos,再在里面搭建我們所需要的組件
宿主機最好提供10 GB的RAM,硬盤占用大概會在40G以上
本次采用的在線安裝方式,cdh為6.3.2版本,系統(tǒng)為centos7.4, docker節(jié)點可以為任意多個,下文將以3個docker容器為示例進行展示。此方法也可用在docker swarm上,docker容器能夠互連,網(wǎng)絡互通即可
離線安裝包地址:
鏈接: https://pan.baidu.com/s/1vMm0yMYya2vhbEabeJMPHQ 提取碼: xbrx
0. docker安裝
卸載(可選)
如果之前安裝過舊版本的Docker,可以使用下面命令卸載:
yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine \ docker-ce
安裝docker
首先需要大家虛擬機聯(lián)網(wǎng),安裝yum工具
yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 --skip-broken
然后更新本地鏡像源:
# 設置docker鏡像源 yum-config-manager \ --add-repo \ https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 第二步 sed -i 's/download.docker.com/mirrors.aliyun.com\/docker-ce/g' /etc/yum.repos.d/docker-ce.repo # 第三步 yum makecache fast
然后輸入命令:
yum install -y docker-ce
docker-ce為社區(qū)免費版本。稍等片刻,docker即可安裝成功。
1. 構(gòu)建Centos-cdh鏡像
宿主機初始化
yum install -y wget \ && mkdir -p /etc/yum.repos.d/repo_bak \ && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \ && wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo \ && wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo \ && yum clean all \ && yum makecache \ && yum update –y
構(gòu)建容器的Dockerfile
文件(創(chuàng)建這個文件)
FROM docker.io/ansible/centos7-ansible RUN yum -y install openssh-server RUN yum -y install bind-utils RUN yum -y install which RUN yum -y install sudo
在Dockerfile同級目錄執(zhí)行:
docker build -t centos7-cdh .
生成要用的基礎centos7的鏡像
接著我們給鏡像創(chuàng)建一個網(wǎng)橋
docker network create --subnet=172.10.0.0/16 hadoop_net && docker network ls
啟動容器
docker run -d \ --add-host cm.hadoop:172.10.0.2 \ --net hadoop_net \ --ip 172.10.0.2 \ -h cm.hadoop \ -p 10022:22 \ -p 7180:7180 \ --restart always \ --name cm.hadoop \ --privileged \ centos7-cdh \ /usr/sbin/init \ && docker ps
參數(shù)解釋:
- run -d # 后臺啟動
- --add-host cm.hadoop:172.10.0.2 # 給容器分配一個固定的ip,主機名為:cm.hadoop
- --net hadoop_net # 將容器加入到上一步創(chuàng)建的網(wǎng)橋中
- -p # 端口映射
- --restart always # docker重啟后會自動開啟此容器
- --name cm.hadoop # 給容器起名字,在docker中可以用主機名代替ip鏡像訪問
- --privileged # 聲明此容器可以定制化,例如使container內(nèi)的root擁有真正的root權(quán)限等
2. 容器安裝ClouderaManager
2.1 初始化環(huán)境
我們進入容器,配置一些東西
docker exec -it cm.hadoop bash
將root的登錄密碼改為root
$ su root $ passwd $ root $ root
安裝基礎環(huán)境
yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp net-tools && yum clean all
此步如果出錯,請嘗試容器是否可以正常聯(lián)網(wǎng),檢查docker網(wǎng)橋設置
2.2 配置中文環(huán)境變量
vim ~/.bashrc
,在末尾添加
export LC_ALL=zh_CN.utf8 export LANG=zh_CN.utf8 export LANGUAGE=zh_CN.utf8
執(zhí)行
localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 \ && source ~/.bashrc \ && echo $LANG
2.3 設置NTP時間同步服務
這一步是必須要做的,因為hadoop集群如果時間不同步會出現(xiàn)通訊失敗的情況
安裝ntp
yum install ntp -y
同步時間
ntpdate -u ntp1.aliyun.com
修改時區(qū)
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
再創(chuàng)建一個定時任務,用于定時同步時間(防止虛擬機停止后時間異常)
crontab -e # 添加 0 */2 * * * /usr/sbin/ntpdate ntp1.aliyun.com
啟動ntp服務
systemctl start ntpd && \ systemctl enable ntpd && \ date
2.4 安裝mysql
使用wget安裝(也可以單獨部署,單獨部署這里不再贅述):
mkdir -p /root/hadoop__CHD/mysql \ && wget -O /root/hadoop_CHD/mysql/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar \ https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar \ && ls /root/hadoop_CHD/mysql
使用wget會非常的慢,我們可以上傳給宿主機,然后通過docker命令拷貝給centos-chd
# 前提是容器的/root/hadoop_CHD/mysql目錄必須事先創(chuàng)建。 docker cp mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar {容器ID}:/root/hadoop_CHD/mysql
準備MySQL JDBC驅(qū)動
mkdir -p /root/hadoop_CHD/mysql-jdbc \ && wget -O /root/hadoop_CHD/mysql-jdbc/mysql-connector-java-5.1.48.tar.gz \ https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz \ && ls /root/hadoop_CHD/mysql-jdbc
2.5 準備Cloudera-Manager安裝包
這樣下載很慢,建議用finalshell等工具直接從自己的電腦上上傳到虛擬機中,直接連接宿主機的10022端口即可
mkdir -p /root/hadoop_CHD/cloudera-repos \ && wget -O /root/hadoop_CHD/cloudera-repos/allkeys.asc \ https://archive.cloudera.com/cm6/6.3.0/allkeys.asc \ && wget -O /root/hadoop_CHD/cloudera-repos/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm \ && wget -O /root/hadoop_CHD/cloudera-repos/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm \ && wget -O /root/hadoop_CHD/cloudera-repos/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm \ && wget -O /root/hadoop_CHD/cloudera-repos/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm \ && wget -O /root/hadoop_CHD/cloudera-repos/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm \ && wget -O /root/hadoop_CHD/cloudera-repos/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm \ https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm \ && ll /root/hadoop_CHD/cloudera-repos
準備Parcel包
mkdir -p /root/hadoop_CHD/parcel \ && wget -O /root/hadoop_CHD/parcel/ CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel \ https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel \ && wget -O /root/hadoop_CHD/parcel/manifest.json \ https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json \ && ll /root/hadoop_CHD/parcel
搭建本地yum源
yum -y install httpd createrepo \ && systemctl start httpd \ && systemctl enable httpd \ && cd /root/hadoop_CHD/cloudera-repos/ && createrepo . \ && mv /root/hadoop_CHD/cloudera-repos /var/www/html/ \ && yum clean all \ && ll /var/www/html/cloudera-repos
2.6 安裝jdk
yum install -y java-1.8.0-openjdk-devel.x86_64
查看一下:
java -version
jdk會默認安裝在/usr/lib/jvm
目錄下:
這樣安裝沒有配置JAVA_HOME
,我們需要進一步配置,不然后面安裝會報錯
( cat <<EOF #set java environment JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH EOF ) >> /etc/profile && source /etc/profile && java -version
2.7 啟動前準備
安裝配置MySQL數(shù)據(jù)庫(采用docker獨立安裝跳過此步)
cd /root/hadoop_CHD/mysql/ \ && tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar \ && yum install -y libaio numactl \ && rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm \ && rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm \ && rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm \ && rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm \ && rpm -ivh mysql-community-libs-compat-5.7.27-1.el7.x86_64.rpm \ && echo character-set-server=utf8 >> /etc/my.cnf \ && rm -rf /root/hadoop_CHD/mysql/ \ && yum clean all \ && rpm -qa |grep mysql
建數(shù)據(jù)庫表
( cat <<EOF set password for root@localhost = password('123456Aa.'); grant all privileges on *.* to 'root'@'%' identified by '123456Aa.'; flush privileges; CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456Aa.'; GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456Aa.'; SHOW DATABASES; EOF ) >> /root/c.sql
保存為:/root/c.sql
獲取MySQL初始密碼
systemctl start mysqld && grep password /var/log/mysqld.log | sed 's/.*(............)$/1/'
執(zhí)行SQL腳本
mysql -u root -p
輸入查詢出的默認密碼,然后執(zhí)行:
source /root/c.sql
配置mysql jdbc驅(qū)動
$ mkdir -p /usr/share/java/ $ cd /root/hadoop_CHD/mysql-jdbc/ $ tar -zxvf mysql-connector-java-5.1.48.tar.gz $ cp /root/hadoop_CHD/mysql-jdbc/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/share/java/mysql-connector-java.jar $ rm -rf /root/hadoop_CHD/mysql-jdbc/ $ ls /usr/share/java/
這里有坑,就是這個驅(qū)動版本不能太高,剛開始我的是5.1.47的驅(qū)動,然后就會報錯,換了5.1.6的就好了(手動上傳),還有就是驅(qū)動不能帶版本號
名字要為mysql-connector-java.jar
安裝Cloudera Manager
( cat <<EOF [cloudera-manager] name=Cloudera Manager 6.3.0 baseurl=http://172.10.0.2/cloudera-repos/ gpgcheck=0 enabled=1 EOF ) >> /etc/yum.repos.d/cloudera-manager.repo \ && yum clean all \ && yum makecache \ && yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server \ && yum clean all \ && rpm -qa | grep cloudera-manager
配置parcel庫
cd /opt/cloudera/parcel-repo/;mv /root/hadoop_CHD/parcel/* ./ \ && sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha \ && rm -rf /root/hadoop_CHD/parcel/ \ && chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/* \ && ll /opt/cloudera/parcel-repo/
初始化scm庫
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456Aa.
接著上面的,如果驅(qū)動沒有問題
啟動cloudera-server服務
systemctl start cloudera-scm-server.service \ && sleep 2 \ && tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"
這里如果出錯,請多看錯誤日志,一般為驅(qū)動未找到,或者是bean構(gòu)建失敗等等,如果失敗不要反復重啟服務,因為scm
數(shù)據(jù)庫里面的數(shù)據(jù)很可能會出現(xiàn)問題,應該刪除該數(shù)據(jù)庫再重新啟動
到這里如果沒有什么問題,你可以在你的瀏覽器里面看到頁面,http://IP:7180/cmf/login 賬號密碼:admin/admin
先別急著操作,先配置兩個slave結(jié)點
3. 配置CDH的worker節(jié)點
以下為worker容器的準備方式,若為多個時,重復執(zhí)行以下步驟,創(chuàng)建多個worker節(jié)點
3.1 創(chuàng)建多個worker容器
創(chuàng)建2個work容器
Worker-1:
docker run -d \ --add-host cm.hadoop:172.10.0.2 \ --add-host cdh01.hadoop:172.10.0.3 \ --net hadoop_net \ --ip 172.10.0.3 \ -h cdh01.hadoop \ -p 20022:22 \ --restart always \ --name cdh01.hadoop \ --privileged \ centos7-cdh \ /usr/sbin/init \ && docker ps
Worker-2:
docker run -d \ --add-host cm.hadoop:172.10.0.2 \ --add-host cdh02.hadoop:172.10.0.4 \ --net hadoop_net \ --ip 172.10.0.4 \ -h cdh02.hadoop \ -p 30022:22 \ --restart always \ --name cdh02.hadoop \ --privileged \ centos7-cdh \ /usr/sbin/init \ && docker ps
到這里正常的話我們就有三臺主機了
和之前的操作一樣,先安裝基本工具
上一步創(chuàng)建的所有容器均執(zhí)行,修改root的登錄密碼改為root
$ su root $ passwd $ root $ root
然后執(zhí)行
配置中文環(huán)境
yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp net-tools && yum clean all
3.2 環(huán)境配置
配置中文環(huán)境變量
( cat <<EOF export LC_ALL=zh_CN.utf8 export LANG=zh_CN.utf8 export LANGUAGE=zh_CN.utf8 EOF ) >> ~/.bashrc \ && localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 \ && source ~/.bashrc \ && echo $LANG
這一步是必須要做的,因為hadoop集群如果時間不同步會出現(xiàn)通訊失敗的情況
安裝ntp
yum install ntp -y
同步時間
ntpdate -u ntp1.aliyun.com
修改時區(qū)
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
再創(chuàng)建一個定時任務,用于定時同步時間(防止虛擬機停止后時間異常)
crontab -e# 添加0 */2 * * * /usr/sbin/ntpdate ntp1.aliyun.com
啟動ntp服務
systemctl start ntpd && \ systemctl enable ntpd && \ date
配置MySQL JDBC
這里為了防止出錯,建議配置和master結(jié)點一樣的驅(qū)動,且不要帶版本號
mkdir -p /usr/share/java/
上傳驅(qū)動即可
修改CM主機的host文件
這樣我們可以很方便的使用后面的名字訪問這些主機
echo "172.10.0.3 cdh01.hadoop cdh01" >> /etc/hosts echo "172.10.0.4 cdh02.hadoop cdh02" >> /etc/hosts
這里我們還可以配置一下免密碼登錄
4. CM管理平臺創(chuàng)建CDH集群
4.1 登陸CM管理平臺
http://IP:7180/cmf/login 賬號密碼:admin/admin
歡迎界面:
此面一直點擊
繼續(xù)
,需要同意條款的同意條款
然后就可以來到集群安裝的歡迎界面
我們來安裝集群
選擇繼續(xù),并給集群起一個名字
設置主機地址: 172.10.0.[2-4]
選擇存儲
自定義存儲庫:http://172.10.0.2/cloudera-repos
Jdk安裝
SSH憑據(jù),密碼為容器root用戶的登錄密碼,此處為root
安裝代理
安裝大數(shù)據(jù)組件
集群狀態(tài)檢查
集群設置
選擇你要安裝的組件
選擇好你要安裝的大數(shù)據(jù)組件,然后點繼續(xù)
這里如果選擇了hive之類的組件,需要在cm結(jié)點上創(chuàng)建一個數(shù)據(jù)庫,可以用組件名命名
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; grant all privileges on scm.* to scm@'localhost' identified by '密碼'; grant all privileges on scm.* to scm@'%' identified by '密碼'; grant all privileges on hive.* to hive@'localhost' identified by '密碼'; grant all privileges on hive.* to hive@'%' identified by '密碼'; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; grant all privileges on hue.* to hue@'%' identified by '密碼'; grant all privileges on hue.* to hue@'localhost' identified by '密碼2'; CREATE DATABASE rm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; grant all privileges on rm.* to rm@'localhost' identified by '密碼'; grant all privileges on rm.* to rm@'%' identified by '密碼'; flush privileges;
紅色表示必填的項目
Datanode-> /dfs/datanode
Namenode-> /dfs/namenode
HDFS檢查點-> /dfs/checkpoint
NodeManager 本地目錄-> /dfs/nodemanager
然后就等待集群構(gòu)建完成!
到此這篇關(guān)于docker搭建Hadoop CDH高可用集群實現(xiàn)的文章就介紹到這了,更多相關(guān)docker Hadoop CDH高可用集群內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Linux Docker安裝wordpress的方法詳解教程
這篇文章主要介紹了Linux Docker安裝wordpress的方法詳解教程的相關(guān)資料,需要的朋友可以參考下2016-10-10使用Docker構(gòu)建一個Git鏡像使用clone倉庫
這篇文章主要介紹了使用Docker構(gòu)建一個Git鏡像使用clone倉庫,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-12-12Docker在CentOS7下不能下載鏡像timeout的解決辦法(圖解)
本文給大家記錄下Docker在CentOS7下不能下載鏡像timeout問題的解決方法,非常不錯,具有參考借鑒價值,感興趣的朋友一起看看吧2016-11-11