欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

hadoop 單機安裝配置教程

 更新時間：2012年11月26日 14:59:20   作者：  
單機安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等,需要的朋友可以參考下
單機安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等。主要的區(qū)別在于配置文件：slaves配置需要修改，另外如果分布式安裝中dfs.replication大于1，需要修改為1，因為只有1個datanode.
分布式安裝請參考：
http://acooly.iteye.com/blog/1179828
單機安裝中，使用一臺機器，即做namenode和JobTracker也是datanode和TaskTracker，當(dāng)然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置，如果分布式安裝配置方案中hdfs-site.xml的副本數(shù)量定義大于1，則修改為1.
復(fù)制代碼 代碼如下:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

主要不同在于slaves的配置，分布式安裝中是多個其他機器作為datanode，單機模式本機是datanode,所以修改slaves配置文件為本機的域名。如：本機機器名為hadoop11,則：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，啟動：
復(fù)制代碼 代碼如下:

$ start-all.sh
$ jps
15556 Jps
15111 JobTracker
15258 TaskTracker
15014 SecondaryNameNode
14861 DataNode
14712 NameNode

運行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

相關(guān)文章

  • spring解決循環(huán)依賴

    spring解決循環(huán)依賴

    這篇文章主要介紹了spring如何解決循環(huán)依賴，幫助大家更好的理解和使用spring框架，感興趣的朋友可以了解下
    2020-09-09
  • Java中Spring獲取bean方法小結(jié)

    Java中Spring獲取bean方法小結(jié)

    Spring是一個輕量級的控制反轉(zhuǎn)（IoC）和面向切面（AOP）的容器框架，如何在程序中獲取Spring配置的bean呢？下面通過本文給大家介紹Java中Spring獲取bean方法小結(jié)，對spring獲取bean方法相關(guān)知識感興趣的朋友一起學(xué)習(xí)吧
    2016-01-01
  • Java?String相加底層原理分析

    Java?String相加底層原理分析

    這篇文章主要介紹了Java?String相加底層原理,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • Java類鎖、對象鎖、私有鎖沖突測試

    Java類鎖、對象鎖、私有鎖沖突測試

    這篇文章主要介紹了Java類鎖、對象鎖、私有鎖沖突測試,得出結(jié)論是加鎖方法夠成了競爭關(guān)系,同一時刻只能有一個方法能執(zhí)行,需要的朋友可以參考下
    2014-10-10
  • 十種JAVA排序算法實例

    十種JAVA排序算法實例

    本文件講了十種JAVA排序方法(冒泡（Bubble）排序——相鄰交換 、選擇排序——每次最小/大排在相應(yīng)的位置 、插入排序——將下一個插入已排好的序列中 、殼（Shell）排序——縮小增量 、歸并排序 、快速排序 、堆排序 、拓?fù)渑判?、錦標(biāo)賽排序 、基數(shù)排序)的使用，并提供了實例代碼可參考
    2013-11-11
  • Mybatis動態(tài)sql超詳細(xì)講解

    Mybatis動態(tài)sql超詳細(xì)講解

    動態(tài)SQL是MyBatis的強大特性之一,顧名思義就是會動的SQL,即是能夠靈活的根據(jù)某種條件拼接出完整的SQL語句,下面這篇文章主要給大家介紹了關(guān)于Mybatis動態(tài)sql的相關(guān)資料,需要的朋友可以參考下
    2023-04-04
  • SpringBoot中的健康檢查詳解

    SpringBoot中的健康檢查詳解

    這篇文章主要介紹了SpringBoot中的健康檢查詳解,健康檢查是一種用來確保應(yīng)用程序和其所依賴的服務(wù)的狀態(tài)正常的機制,在本文中，我們將探討SpringBoot中的健康檢查是什么以及如何使用它來監(jiān)視應(yīng)用程序的狀態(tài),需要的朋友可以參考下
    2023-07-07
  • MyBatis?Generator?ORM層面的代碼自動生成器(推薦)

    MyBatis?Generator?ORM層面的代碼自動生成器(推薦)

    Mybatis?Generator是一個專門為?MyBatis和?ibatis框架使用者提供的代碼生成器，也可以快速的根據(jù)數(shù)據(jù)表生成對應(yīng)的pojo類、Mapper接口、Mapper文件，甚至生成QBC風(fēng)格的查詢對象，這篇文章主要介紹了MyBatis?Generator?ORM層面的代碼自動生成器,需要的朋友可以參考下
    2023-01-01
  • 關(guān)于Openfire集群源碼的分析

    關(guān)于Openfire集群源碼的分析

    這篇文章主要介紹了關(guān)于Openfire集群源碼的分析，內(nèi)容比較詳細(xì)，具有一定參考價值，需要的朋友可以了解下。
    2017-09-09
  • Spring BeanUtils忽略空值拷貝的方法示例代碼

    Spring BeanUtils忽略空值拷貝的方法示例代碼

    本文用示例介紹Spring（SpringBoot）如何使用BeanUtils拷貝對象屬性忽略空置，忽略null值拷貝屬性的用法，代碼簡單易懂，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友參考下吧
    2022-03-03

最新評論