欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Hadoop2.X/YARN環(huán)境搭建--CentOS7.0系統(tǒng)配置

 更新時間：2014年08月14日 08:55:07   投稿：hebedich  
Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個應(yīng)用程序分解為許多并行計算指令，跨大量的計算節(jié)點運行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運行的搜索算法。

一、我緣何選擇CentOS7.0

    14年7月7日17:39:42發(fā)布了CentOS 7.0.1406正式版,我曾使用過多款Linux，對于Hadoop2.X/YARN的環(huán)境配置緣何選擇CentOS7.0，其原因有：

1、界面采用RHEL7.0新的GNOME界面風(fēng)，這可不是CentOS6.5/RHEL6.5所能比的！（當(dāng)然，F(xiàn)edora早就采用這種風(fēng)格的了，但是現(xiàn)在的Fedora缺包已然不成樣子了）

2、曾經(jīng)，我也用了RHEL7.0，它最大的問題就是YUM沒法用，而且總會有Warning提示注冊購買！為此，必須去修改YUM源，還有修改其他的文件使之不提示才能用，看了這么麻煩，想必有很多童鞋滴心就已經(jīng)涼了4/7了吧！

3、當(dāng)然，Ubuntu系列我用過Ubuntu14.04/12.04和elementaryOS,不知為何，一用Ubuntu14.04就覺得好丑呀?。〉怯泻芏嗳硕颊fCentOS和RHEL更丑，但殊不知哪個才是企業(yè)級的，那個才是霸主。

另一方面，要求視覺效果的話，建議去裝個elementaryOS試試，當(dāng)然，elementaryOS也有缺陷：它已經(jīng)許久沒有提供更新了，12年推出的，已逾2年未曾發(fā)布新版本的系統(tǒng)，也未曾更新網(wǎng)站，與此同時，elementaryOS的模型Ubuntu早就更新?lián)Q代了，所以，暴露了不少問題，其中麻煩的是不要隨意更新系統(tǒng)，否則黑屏，那就真的純命令行了，漂亮的系統(tǒng)突然被打回原型，那心鐵定疤涼疤涼的，而且它更新后的apt-get是無法安裝某些匹配某些，所以elementaryOS只供欣賞把玩！

4、也有人用過openSUSE，據(jù)說是最華麗的系統(tǒng)，在我看來，花哨的KDE打開文件/軟件時顯示的一跳一跳的，我心里就癢癢的，沒事兒你弄個沒用又難看的東東干嘛？？干嘛？？另外，最新的openSUSE對中文的設(shè)計的確無法令人滿意。另外，就是openSUSE的環(huán)境不怎么熟悉，歐洲人設(shè)計的GNU/Linux還有些難適應(yīng)，當(dāng)然，我也不打算改旗易幟向歐洲SUSE倒戈。

其實，GNU/Linux版本眾多，選擇一個適合自己的一款一直玩下去、用下去就足夠了，Linux版本眾多，設(shè)計各有千秋，但使用大同小異，了解“異”點即可！當(dāng)然，還是奉勸一句：初學(xué)者僅僅跑跑虛擬機看看效果就好，莫要將每款都用會了！畢竟，體驗也是學(xué)習(xí)的動力之一！

二、體驗CentOS7與之前版本的“異”

初次啟動

裝完機后，開機進(jìn)系統(tǒng)的界面換了，乍一看以為是兩個內(nèi)核，原來有一個是rescue選擇，而且按e后，會發(fā)現(xiàn)所有的grub.conf的信息全出來了，好不容易找到內(nèi)核啟動的地方，寫了個 1（要進(jìn)單用戶模式），然后進(jìn)了rescue模式。

字符界面

進(jìn)系統(tǒng)后，是圖形界面，想進(jìn)字符界面，結(jié)果找到/etc/inittab，發(fā)現(xiàn)幾乎是個空文件，文件中提示想改runlevel的話，可以把/lib/systemd/system/runlevel*.target 軟連到 /etc/systemd/system/default.target下（當(dāng)然考過來，覆蓋也行），試了一下還行，能改到字符界面runlevel3。

配置網(wǎng)絡(luò)和主機名

然后，想配置網(wǎng)絡(luò)，進(jìn)/etc/sysconfig/network-script/一看，我靠，網(wǎng)卡改名了enp1s5，好有趣，配置完網(wǎng)絡(luò)后改主機名， 到/etc/sysconfig/network去改名字，發(fā)現(xiàn)這個文件也是空的，按原6版本的去修改，重啟后沒效果，man了一下hostname， 發(fā)現(xiàn)7中改名要到/etc/hostname去改名字。

本地yum源和掛載

接著，想配置一個本地yum源，配上后要掛光盤，手動掛上了，然后直接echo“mount ......”到rc.local中，畢竟是啟動執(zhí)行腳本，重啟之后竟然沒掛上，進(jìn)去rc.local中看了一下，7中竟然要手動的把chmod +x rc.local, 是的，要手動加執(zhí)行權(quán)限，難道我之前裝的6以前的系統(tǒng)中這個都要手動加執(zhí)行權(quán)限，我不記得啊?。。。?當(dāng)然，加了權(quán)限后，開機后啟動執(zhí)行了rc.local的mount命令。

LVM和xfs

后來，想著裝一個lvm玩玩，于是啊就分區(qū)，格式化（特意格式化為了xfs），pv，vg，lv一步一步，都沒問題，然后想著放大，縮小，這時出問題了，執(zhí)行resize2fs時，怎么一直報superblock什么的出錯，這是怎么回事，然后man resize2fs一下，發(fā)現(xiàn)這命令只支持ext的文件系統(tǒng)，我艸，那我裝系統(tǒng)是怎么是lvm的，這個問題我還沒解決，應(yīng)該有解決方法。

dhcp和服務(wù)

接著，想著裝一個dhcp玩玩，驚奇的發(fā)現(xiàn)所有dhcp的包裝上之后，不能service dhcpd start，然后發(fā)現(xiàn)/etc/init.d/中竟然沒一個dhcp類似的東西，畢竟6之前有dhcpd,dhcpd6,dhcrelay的，然后發(fā)現(xiàn) /sbin/dhcpd有啟動文件，難道，難道，以后的服務(wù)想service啟，都要手動自己編？錯了，是在/usr/lib/systemd/system/dhcpd.service,還要修改好多，然后加權(quán)限，執(zhí)行service 服務(wù) restart/stop。。。。。?？梢?，但是指向了systemctl restart/start/stop 服務(wù).service

iptables

又發(fā)現(xiàn)iptables這次也不是作為一個服務(wù)在/etc/init.d/下面了，/sbin下有；

防火墻由iptables更換成了firewalld

 

三、系統(tǒng)配置之關(guān)閉防火墻

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

systemctl命令的基本操作格式是：
systemctl   動作   服務(wù)名.service
動作：start,stop,restart,status,enable,disable,is-enabled 

四、配置Linux網(wǎng)絡(luò)

1、修改hostname

CentOS 7.0的hostname在/etc/hostname中用root用戶修改：

[root@hadoop1 ~]# vim /etc/hostname    #編輯/etc/hostname
[root@hadoop1 ~]# cat /etc/hostname    #查看/etc/hostname
hadoop1
[root@hadoop1 ~]#

以前版本的CentOS在/etc/sysconfig/network中用root用戶修改：

[root@hadoop1 ~]# vim /etcsysconfig/network

"/etc/sysconfig/network"的設(shè)定項目如下：

NETWORKING 是否利用網(wǎng)絡(luò)
GATEWAY 默認(rèn)網(wǎng)關(guān)與接下來配置IP的屬性文件中默認(rèn)網(wǎng)關(guān)一致
IPGATEWAYDEV 默認(rèn)網(wǎng)關(guān)的接口名
HOSTNAME 主機名
DOMAIN 域名

reboot后hostname生效

2、修改當(dāng)前機器的IP

        Step1:進(jìn)入配置文件目錄

        現(xiàn)在已經(jīng)是root權(quán)限了，我們cd到網(wǎng)絡(luò)配置文件的目錄，并列出目錄下的文件。

Step2:修改配置文件

該目錄下，文件名“ifcfg-ens192”文件就是網(wǎng)絡(luò)配置的主文件。vi它!

修改或添加一下：

ONBOOT=yes  
BOOTPROTO=static  
IPADDR=IP地址  
NETMASK=255.255.255.0 #子網(wǎng)掩碼 
GATEWAY=192.168.30.1  #網(wǎng)關(guān)地址

Step3:重啟網(wǎng)絡(luò)服務(wù)

修改完配置文件后，:wq!保存退出！然后重啟網(wǎng)絡(luò)。

Step4:測試

通過ifconfig命令查看ip是否設(shè)置成功，然后ping一下網(wǎng)絡(luò)。這個時候應(yīng)該成功了！

 

3、修改DNS(看情況，非必選)

若網(wǎng)絡(luò)環(huán)境有DNS要求,則配置,否則，勿配！

格式：

nameserver DNS地址

[root@hadoop1 ~]# vi /etc/resolv.conf 
nameserver 202.131.80.1  #依需求而定 
nameserver 202.131.80.5  #依需求而定

4、配置hosts文件

"/etc/hosts"這個文件是用來配置主機將用的DNS服務(wù)器信息，是記載LAN內(nèi)接續(xù)的各主機的對應(yīng)[HostName和IP]用的。當(dāng)用戶在進(jìn)行網(wǎng)絡(luò)連接時，首先查找該文件，尋找對應(yīng)主機名（或域名）對應(yīng)的IP地址。

我們要測試兩臺機器之間知否連通，一般用"ping 機器的IP"，如果想用"ping 機器的主機名"發(fā)現(xiàn)找不見該名稱的機器，解決的辦法就是修改"/etc/hosts"這個文件，通過把LAN內(nèi)的各主機的IP地址和HostName的一一對應(yīng)寫入這個文件的時候，就可以解決問題。

例如：機器為"hadoop1:59.67.107.80"對機器為"hadoop2:59.67.107.79"用命令"ping"記性連接測試。測試結(jié)果如下：

從上圖中的值，直接對IP地址進(jìn)行測試，能夠ping通，但是對主機名進(jìn)行測試，若沒有ping通，提示"unknown host——未知主機"，這時查看"hadoop1"的"/etc/hosts"文件內(nèi)容。

若ping hadoop1不通則顯示：

若ping hadoop1通則顯示：

若發(fā)現(xiàn)里面沒有"59.67.107.79 hadoop2"內(nèi)容，故而本機器是無法對機器的主機名為"hadoop2" 解析。

在進(jìn)行Hadoop集群配置中，需要在"/etc/hosts"文件中添加集群中所有機器的IP與主機名，這樣Master與所有的Slave機器之間不僅可以通過IP進(jìn)行通信，而且還可以通過主機名進(jìn)行通信。所以在所有的機器上的"/etc/hosts"文件末尾中都要添加如下內(nèi)容：

因為本文以已經(jīng)配置好的環(huán)境說明，所以我的/etc/hosts顯示：

一般處于內(nèi)網(wǎng)下，照此添加(192.168.1.1為網(wǎng)關(guān))：

192.168.1.2 hadoop1
192.168.1.3 hadoop2
192.168.1.4 hadoop3
192.168.1.5 hadoop4

用以下命令進(jìn)行添加：

vim /etc/hosts

現(xiàn)在我們在進(jìn)行對機器為"hadoop2"的主機名進(jìn)行ping通測試，看是否能測試成功。

從上圖中我們已經(jīng)能用主機名進(jìn)行ping通了，說明我們剛才添加的內(nèi)容，在局域網(wǎng)內(nèi)能進(jìn)行DNS解析了，那么現(xiàn)在剩下的事兒就是在其余的Slave機器上進(jìn)行相同的配置。然后進(jìn)行測試。

相關(guān)文章

最新評論