快捷導(dǎo)航

如何安裝Hadoop并運(yùn)行WordCount程序

更新時(shí)間：2025年05月14日 10:26:09 作者：依年南臺(tái)

這篇文章主要介紹了如何安裝Hadoop并運(yùn)行WordCount程序,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧

一、安裝 Java

Hadoop 依賴 Java，首先需要安裝 Java 開(kāi)發(fā)工具包（JDK）。以 Ubuntu 為例：

sudo apt update
sudo apt install openjdk-8-jdk

安裝后，設(shè)置環(huán)境變量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安裝 Hadoop

下載 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置環(huán)境變量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、啟動(dòng) Hadoop

格式化 NameNode：

hdfs namenode -format

啟動(dòng) HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

驗(yàn)證服務(wù)：
訪問(wèn) http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、運(yùn)行 WordCount 程序

準(zhǔn)備輸入數(shù)據(jù)：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

執(zhí)行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看結(jié)果：

hdfs dfs -cat /user/output/part-r-00000

到此這篇關(guān)于如何安裝Hadoop并運(yùn)行WordCount程序的文章就介紹到這了,更多相關(guān)Hadoop安裝和WordCount程序內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Spring動(dòng)態(tài)多數(shù)據(jù)源配置實(shí)例Demo
本篇文章主要介紹了Spring動(dòng)態(tài)多數(shù)據(jù)源配置實(shí)例Demo，具有一定的參考價(jià)值，有興趣的可以了解一下。
2017-01-01
Java的關(guān)鍵字之transient詳解
這篇文章主要介紹了Java的關(guān)鍵字之transient詳解,在Java編程中,transient是一個(gè)關(guān)鍵字,通常用于修飾變量,它的主要作用是用于指示JVM在對(duì)象序列化時(shí)忽略指定變量,從而避免數(shù)據(jù)泄露的安全問(wèn)題,需要的朋友可以參考下
2023-09-09
java 出現(xiàn)問(wèn)題javax.servlet.http.HttpServlet was not found解決方法
這篇文章主要介紹了java 出現(xiàn)問(wèn)題javax.servlet.http.HttpServlet was not found解決方法的相關(guān)資料,需要的朋友可以參考下
2016-11-11
SpringBoot中AOP的動(dòng)態(tài)匹配和靜態(tài)匹配詳解
這篇文章主要介紹了SpringBoot中AOP的動(dòng)態(tài)匹配和靜態(tài)匹配詳解,在創(chuàng)建代理的時(shí)候?qū)δ繕?biāo)類的每個(gè)連接點(diǎn)使用靜態(tài)切點(diǎn)檢查,如果僅通過(guò)靜態(tài)切點(diǎn)檢查就可以知道連接點(diǎn)是不匹配的,則在運(yùn)行時(shí)就不再進(jìn)行動(dòng)態(tài)檢查了,需要的朋友可以參考下
2023-09-09
Java使用for循環(huán)解決經(jīng)典的雞兔同籠問(wèn)題示例
這篇文章主要介紹了Java使用for循環(huán)解決經(jīng)典的雞兔同籠問(wèn)題,結(jié)合實(shí)例形式分析了Java巧妙使用流程控制語(yǔ)句for循環(huán)解決雞兔同籠問(wèn)題相關(guān)操作技巧,需要的朋友可以參考下
2018-05-05
Mybatis中關(guān)于自定義mapper.xml時(shí),參數(shù)傳遞的方式及寫(xiě)法
這篇文章主要介紹了Mybatis中關(guān)于自定義mapper.xml時(shí),參數(shù)傳遞的方式及寫(xiě)法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-12-12
SpringCloud中的Feign遠(yuǎn)程調(diào)用接口傳參失敗問(wèn)題
這篇文章主要介紹了SpringCloud中的Feign遠(yuǎn)程調(diào)用接口傳參失敗問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-03-03
Java SpringBoot集成ChatGPT實(shí)現(xiàn)AI聊天
ChatGPT已經(jīng)組件放開(kāi)了，現(xiàn)在都可以基于它寫(xiě)插件了，也許可以用它結(jié)合文字語(yǔ)音開(kāi)發(fā)一個(gè)老人小孩需要的智能的說(shuō)話陪伴啥的，這篇文章就介紹SpringBoot結(jié)合ChatGPT實(shí)現(xiàn)AI聊天感興趣的同學(xué)可以借鑒一下
2023-04-04
Java基礎(chǔ):流Stream詳解
Stream流是數(shù)據(jù)渠道，用于操作數(shù)據(jù)源（集合、數(shù)組等）所生成的元素序列。這篇文章主要介紹了Java8新特性Stream流的相關(guān)資料，需要的朋友參考下吧
2021-09-09
java報(bào)錯(cuò):“錯(cuò)誤：編碼GBK?的不可映射字符”解決辦法
當(dāng)Java源代碼中包含中文字符時(shí),我們?cè)谟胘avac編譯時(shí)會(huì)出現(xiàn)“錯(cuò)誤：編碼GBK的不可映射字符”,這篇文章主要給大家介紹了關(guān)于java報(bào)錯(cuò):“錯(cuò)誤：編碼GBK?的不可映射字符”的解決辦法,需要的朋友可以參考下
2024-08-08