欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Windows下使用IDEA搭建Hadoop開發(fā)環(huán)境的詳細(xì)方法

 更新時(shí)間:2020年12月29日 10:26:02   作者:Geeksongs  
這篇文章主要介紹了Windows下使用IDEA搭建Hadoop開發(fā)環(huán)境,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

筆者鼓弄了兩個(gè)星期,終于把所有有關(guān)hadoop的環(huán)境配置好了,一是虛擬機(jī)上的 完全分布式集群 ,但是為了平時(shí)寫代碼的方便,則在windows上也配置了hadoop的 偽分布式集群 ,同時(shí)在IDEA上就可以編寫代碼,同時(shí)在windows環(huán)境下進(jìn)行運(yùn)行。(如果不配置windows下的偽分布式集群,則在IDEA上編寫的代碼無(wú)法在windows平臺(tái)下運(yùn)行)。筆者在網(wǎng)絡(luò)上找了很多有關(guān)windows下使用idea搭建hadoop開發(fā)環(huán)境的中文教程都不太全,最后使用國(guó)外的英文教程配置成功,因此這里整理一下,方便大家使用。

我的開發(fā)環(huán)境如下:

1.Windows10

2.Java 8 

3.VMware-workstation-pro

1.Hadoop在windows當(dāng)中的安裝

首先在Windows系統(tǒng)里打開瀏覽器,下載hadoop的安裝包(二進(jìn)制文件): http://hadoop.apache.org/releases.html

打開網(wǎng)址,我們會(huì)發(fā)現(xiàn)這樣的界面:

由于hadoop在開發(fā)當(dāng)中我們常常使用了2.x版本的,因此這里我們這里下載2.10.1版本的。如果你想使用其他版本的進(jìn)行下載,那么在下載之前需要檢查以下maven倉(cāng)庫(kù)里是否有相應(yīng)版本所對(duì)應(yīng)的版本,不然在使用IDEA進(jìn)行開發(fā)的時(shí)候,則無(wú)法運(yùn)行。我們打開網(wǎng)址:https://mvnrepository.com/

在其中搜索hadoop.則會(huì)出現(xiàn)以下的界面:

鼠標(biāo)往下滑動(dòng),發(fā)現(xiàn)果然!2.10.1的版本出現(xiàn)了!因此我們可以使用找個(gè)版本的hadoop,因?yàn)樵趍aven倉(cāng)庫(kù)里是可以找到的,這樣就不會(huì)出現(xiàn)無(wú)法編程調(diào)用hadoop的問(wèn)題:

2.將下載的文件進(jìn)行解壓

我們下載之后的文件二進(jìn)制文件后綴名為tar.gz,你可以來(lái)到你下載的地方,使用windows下的壓縮包軟件直接進(jìn)行解壓,我使用的是2345壓縮軟件進(jìn)行的解壓。有些教程讓我們必須在windows下模擬的linux環(huán)境下(MinGW)才能夠解壓,其實(shí)完全不用,就把tar.gz當(dāng)作普通的壓縮文件就好了,解壓之后將文件夾更名為hadoop。

3.設(shè)置環(huán)境變量 一方面是要設(shè)置好Java的環(huán)境變量 另一方面是要設(shè)置好剛剛下載的Hadoop的環(huán)境變量

我們?cè)诃h(huán)境變量處分別設(shè)置JAVA_HOME和HADOOP_HOME(目的是為了hadoop在運(yùn)行的時(shí)候能夠找到自己和java的地方在哪兒):

然后在Path里添加JAVA和hadoop的二進(jìn)制文件夾,bin文件夾,目的是我們這樣就可以使用cmd對(duì)java和haodoop進(jìn)行操作:

4.驗(yàn)證環(huán)境變量的配置

打開你的cmd,輸入以下命令,出現(xiàn)我這樣的輸出說(shuō)明配置環(huán)境變量成功:

C:\Users\lenovo>hadoop -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

5.HDFS的配置

接下來(lái)就是配置HDFS的文件,進(jìn)行偽分布式集群以適應(yīng)你的計(jì)算機(jī)。(備注:偽分布式集群也是分布式集群,可以起動(dòng)分布式計(jì)算的效果)

我們來(lái)到之前解壓的hadoop文件夾下,打開etc/hadoop文件夾,發(fā)現(xiàn)里面有很多文件:

現(xiàn)在我們的任務(wù)就是修改這些文件當(dāng)中的代碼,務(wù)必修改,不然根本無(wú)法運(yùn)行hadoop?。?/p>

6.修改 hadoop-env.cmd

打開這個(gè)文件,在找個(gè)文件當(dāng)中的末尾添加上:

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

7.修改core-site.xml

將configuration處更改為:

<configuration>
  <property>
   <name>fs.defaultFS</name>
   <value>hdfs://0.0.0.0:9000</value>
  </property>
</configuration>

8.hdfs-site.xml

將configuration處更改為如下所示,其中

file:///F:/DataAnalytics/dfs/namespace_logs
file:///F:/DataAnalytics/dfs/data

這兩個(gè)文件夾一定需要是已經(jīng)存在的文件夾,你可以在你的hadoop文件夾下隨意創(chuàng)建兩個(gè)文件夾,然后將下面的這兩個(gè)文件夾的絕對(duì)路徑替換成你的文件夾,這里我也是創(chuàng)建了兩個(gè)新的文件夾,hadoop的下載文件夾里本身是沒有的。

<configuration>
  <property>
   <name>dfs.replication</name>
   <value>1</value>
  </property>
  <property>
   <name>dfs.name.dir</name>
   <value>file:///F:/DataAnalytics/dfs/namespace_logs</value>
  </property>
  <property>
   <name>dfs.data.dir</name>
   <value>file:///F:/DataAnalytics/dfs/data</value>
  </property>
</configuration>

9. mapred-site.xml

將下方的%USERNAME%替換成你windows的用戶名?。。∵@個(gè)十分重要,不要直接復(fù)制?。。?/p>

<configuration>
  <property>
   <name>mapreduce.job.user.name</name>
   <value>%USERNAME%</value>
  </property>
  <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
  </property>
 <property>
   <name>yarn.apps.stagingDir</name>
   <value>/user/%USERNAME%/staging</value>
  </property>
 <property>
   <name>mapreduce.jobtracker.address</name>
   <value>local</value>
  </property>
</configuration>

10.yarn-site.xml

修改為如下所示:

<configuration>
  <property>
   <name>yarn.server.resourcemanager.address</name>
   <value>0.0.0.0:8020</value>
  </property>
 <property>
   <name>yarn.server.resourcemanager.application.expiry.interval</name>
   <value>60000</value>
  </property>
 <property>
   <name>yarn.server.nodemanager.address</name>
   <value>0.0.0.0:45454</value>
  </property>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
  </property>
 <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
 <property>
   <name>yarn.server.nodemanager.remote-app-log-dir</name>
   <value>/app-logs</value>
  </property>
 <property>
   <name>yarn.nodemanager.log-dirs</name>
   <value>/dep/logs/userlogs</value>
  </property>
 <property>
   <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
   <value>0.0.0.0</value>
  </property>
 <property>
   <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
   <value>0.0.0.0</value>
  </property>
 <property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
  </property>
 <property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>-1</value>
  </property>
 <property>
   <name>yarn.application.classpath</name>
   <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
  </property>
</configuration>

11.初始化環(huán)境變量

在windows下的cmd,輸入cmd的命令,用于初始化環(huán)境變量。hadoop-env.cmd后綴為cmd,說(shuō)明是cmd下可執(zhí)行的文件:

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

12.格式化文件系統(tǒng)(File System)

這個(gè)命令在整個(gè)hadoop的配置環(huán)境和之后的使用當(dāng)中務(wù)必僅使用一次?。。?!不然的話后續(xù)會(huì)導(dǎo)致hadoop日志損壞,NameNode無(wú)法開啟,整個(gè)hadoop就掛了!

將如下的命令輸入到cmd當(dāng)中進(jìn)行格式化:

hadoop namenode -format

輸出:

2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

13.向hadoop文件當(dāng)中注入winutills文件

由于windows下想要開啟集群,會(huì)有一定的bug,因此我們?nèi)ゾW(wǎng)站:https://github.com/steveloughran/winutils

下載對(duì)應(yīng)版本的 winutils.exe 文件。打開這個(gè)Github倉(cāng)庫(kù)后如下所示:

我們打開hadoop2.8.3/bin,選擇其中的 winutils.exe 文件進(jìn)行下載,然后將下載的這個(gè)文件放入到本地的hadoop/bin文件當(dāng)中。不然的話,你打開一會(huì)兒你的偽分布式集群,馬上hadoop就會(huì)自動(dòng)關(guān)閉,缺少這兩個(gè)文件的話。

我本地的bin文件最終如下所示:

 

14.開啟hadoop集群

下面就是最激動(dòng)人心的開啟hadoop集群了?。。?!我們?cè)赾md當(dāng)中輸入:

C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

這樣就會(huì)跳出來(lái)很多黑色的窗口,如下所示:

然后可以使用JPS工具查看目前開啟的node有哪些,如果出現(xiàn)namenode,datanode的話說(shuō)明集群基本上就成功了。如下所示:

15.打開本地瀏覽器進(jìn)行驗(yàn)證

我們?cè)跒g覽器輸入localhost:50070,如果能夠打開這樣的網(wǎng)頁(yè),說(shuō)明hadoop已經(jīng)成功開啟:

接下來(lái)就可以開始IDEA的配置了

 16.創(chuàng)建MAVEN項(xiàng)目工程

打開IDEA之后,里面的參數(shù)和項(xiàng)目工程名稱隨便寫,等待工程創(chuàng)建完畢即可。然后我們編輯pom.xml文件,如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.atguigu</groupId>
  <artifactId>hdfs1205</artifactId>
  <version>1.0-SNAPSHOT</version>

  <properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
  </properties>
  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>RELEASE</version>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>2.8.2</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.10.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.10.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.10.1</version>
    </dependency>
  </dependencies>

</project>

因?yàn)槲沂褂昧?.10.1版本,因此導(dǎo)入的包均為2.10.1,除了log4j,這個(gè)是固定的2.8.2版本的。

然后點(diǎn)擊我箭頭指向的同步maven倉(cāng)庫(kù),如下所示:

同步完成之后,IDEA左邊的external libararies處就會(huì)顯示大量的有關(guān)hadoop的jar包,如下所示:

這樣就說(shuō)明我們導(dǎo)入maven倉(cāng)庫(kù)成功了。

17.編寫代碼

現(xiàn)在我們開始編寫代碼,在開啟hadoop偽分布式集群之后,代碼才可以運(yùn)行哦!

代碼如下所示:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Test {
  public static void main(String[] args) throws Exception {
    FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());

    FileStatus[] files = fs.listStatus(new Path("/"));
    for (FileStatus f : files) {
      System.out.println(f);
    }
    System.out.println("Compile Over");
  }
}

這段代碼的含義是遍歷hadoop文件系統(tǒng)(HDFS)下的root下所有文件的狀態(tài),并輸出,由于我目前并沒有在HDFS下put了任何文件,因此不會(huì)有輸出,出現(xiàn)這樣的輸出,說(shuō)明代碼代碼運(yùn)行成功:

exit code 0,返回code為0說(shuō)明運(yùn)行成功!

到此這篇關(guān)于Windows下使用IDEA搭建Hadoop開發(fā)環(huán)境的文章就介紹到這了,更多相關(guān)IDEA搭建Hadoop開發(fā)環(huán)境內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Java8使用LocalDate計(jì)算日期實(shí)例代碼解析

    Java8使用LocalDate計(jì)算日期實(shí)例代碼解析

    這篇文章主要介紹了Java8使用LocalDate計(jì)算實(shí)例代碼解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-04-04
  • Java多線程實(shí)現(xiàn)Runnable方式

    Java多線程實(shí)現(xiàn)Runnable方式

    這篇文章主要為大家詳細(xì)介紹了Java多線程如何實(shí)現(xiàn)Runnable方式,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-03-03
  • 淺談MyBatis 事務(wù)管理

    淺談MyBatis 事務(wù)管理

    這篇文章主要介紹了淺談MyBatis 事務(wù)管理,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-10-10
  • 舉例講解Java設(shè)計(jì)模式中的對(duì)象池模式編程

    舉例講解Java設(shè)計(jì)模式中的對(duì)象池模式編程

    這篇文章主要介紹了Java設(shè)計(jì)模式中的對(duì)象池模式編程示例分享,對(duì)象池模式經(jīng)常在多線程開發(fā)時(shí)被用到,需要的朋友可以參考下
    2016-02-02
  • 求1000階乘的結(jié)果末尾有多少個(gè)0

    求1000階乘的結(jié)果末尾有多少個(gè)0

    題目是:求1000!的結(jié)果末尾有多少個(gè)0,解題思路:兩個(gè)素?cái)?shù)2、5,相乘即可得到10,我們可以認(rèn)為,有多少組2、5,結(jié)尾就有多少個(gè)0,下面是代碼,需要的朋友可以參考下
    2014-02-02
  • java程序中的延時(shí)加載異常及解決方案

    java程序中的延時(shí)加載異常及解決方案

    這篇文章主要介紹了java程序中的延時(shí)加載異常及解決方案,需要的朋友可以參考下
    2015-02-02
  • Java8中使用一行代碼讀取文件

    Java8中使用一行代碼讀取文件

    這篇文章主要介紹了Java8中使用一行代碼讀取文件,要注意,本文介紹的方法不適合讀取很大的文件,因?yàn)榭赡艽嬖趦?nèi)存空間不足的問(wèn)題,需要的朋友可以參考下
    2015-03-03
  • 解決IDEA鼠標(biāo)點(diǎn)擊光標(biāo)變大問(wèn)題

    解決IDEA鼠標(biāo)點(diǎn)擊光標(biāo)變大問(wèn)題

    這篇文章主要介紹了解決IDEA鼠標(biāo)點(diǎn)擊光標(biāo)變大問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-02-02
  • Java之單例模式實(shí)現(xiàn)方案詳解

    Java之單例模式實(shí)現(xiàn)方案詳解

    這篇文章主要介紹了Java之單例模式實(shí)現(xiàn)方案詳解,本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下
    2021-08-08
  • Java SPI機(jī)制詳細(xì)介紹

    Java SPI機(jī)制詳細(xì)介紹

    大家好,本篇文章主要講的是Java SPI機(jī)制詳細(xì)介紹,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12

最新評(píng)論