Spark在Win10下的環(huán)境搭建過(guò)程
前言
本章將介紹如何在WIN10下實(shí)現(xiàn)spark環(huán)境搭建。
本章概要
1、版本說(shuō)明
2、環(huán)境準(zhǔn)備：
- jdk配置；
- scala安裝與配置；
- spark安裝與配置；
- hadoop安裝與配置；
版本說(shuō)明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
環(huán)境準(zhǔn)備
jdk配置
1、配置JAVA_HOME與Path：
Path
2、驗(yàn)證配置：
scala安裝與配置
1、scala下載：
訪問(wèn)官方地址
http://www.scala-lang.org/download/2.11.8.html
2、配置Path：
3、驗(yàn)證配置：
Spark安裝與配置
1、spark下載：
訪問(wèn)官方地址
http://spark.apache.org/downloads.html
選中官方推薦的地址即可下載，其他地址也可用（建議采用迅雷等下載工具下載，速度比較會(huì)快很多）
2、解壓至D盤(pán)；
3、配置Path：
4、通過(guò)spark-shell進(jìn)入Spark的交互式命令行模式：
如上，可以看到對(duì)應(yīng)的spark、scala、java版本，同時(shí)也看到了異常信息，該異常信息是由于hadoop導(dǎo)致的，下面來(lái)配置hadoop。
Hadoop安裝與配置
1、hadoop下載
訪問(wèn)官方
http://hadoop.apache.org/releases.html
進(jìn)入下載頁(yè)，如下建議地址（同樣建議用迅雷等下載工具下載，速度更快）
2、解壓至
3、配置HADOOP_HOME&Path：
path：
4、winutils下載：
https://github.com/steveloughran/winutils
下載對(duì)應(yīng)版本的bin目錄直接替換本地bin目錄即可。
5、此時(shí)繼續(xù)spark-shell進(jìn)入spark命令行交互模式：
此時(shí)即不會(huì)出現(xiàn)上述的異常提示。
6、訪問(wèn)控制臺(tái)中的webui如下：
到此這篇關(guān)于Spark在Win10下的環(huán)境搭建的文章就介紹到這了,更多相關(guān)win10 Spark環(huán)境搭建內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
微服務(wù)的架構(gòu)出現(xiàn)已經(jīng)很久很久了，微服務(wù)架構(gòu)就是一種將單個(gè)應(yīng)用程序轉(zhuǎn)換為一組小服務(wù)的方法，每個(gè)小服務(wù)都在自己的進(jìn)程中運(yùn)行，并使用輕量級(jí)的交互方式（如HTTP）進(jìn)行通信2021-06-06
這篇文章主要介紹了Pascal Move的用法,需要的朋友可以參考下2021-11-11
ffmpeg播放器實(shí)現(xiàn)詳解之視頻顯示(推薦)
FFmpeg是一套可以用來(lái)記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)化為流的開(kāi)源計(jì)算機(jī)程序。這篇文章主要介紹了ffmpeg播放器實(shí)現(xiàn)詳解視頻顯示,需要的朋友可以參考下2020-07-07
app開(kāi)發(fā)之原生開(kāi)發(fā)、H5開(kāi)發(fā)和混合開(kāi)發(fā)的區(qū)別
這篇文章主要介紹了app開(kāi)發(fā)之原生開(kāi)發(fā)、H5開(kāi)發(fā)和混合開(kāi)發(fā)的區(qū)別,需要的朋友可以參考下2019-12-12
云計(jì)算的不斷發(fā)展，涌現(xiàn)出很多改變傳統(tǒng)IT架構(gòu)和運(yùn)維方式的新技術(shù)，而以虛擬機(jī)、容器、微服務(wù)為代表的技術(shù)更是在各個(gè)層面不斷提升云服務(wù)的技術(shù)能力，它們將應(yīng)用和環(huán)境中很多通用能力變成了一種服務(wù)。但無(wú)論這些技術(shù)應(yīng)用在哪里，幫助企業(yè)降本增效是技術(shù)變革永恒的主題。2021-05-05
TCP 四種定時(shí)器（重傳定時(shí)器，堅(jiān)持計(jì)時(shí)器，?；疃〞r(shí)器，時(shí)間等待計(jì)時(shí)器）
這篇文章主要介紹了TCP 四種定時(shí)器，重傳定時(shí)器，堅(jiān)持計(jì)時(shí)器，?；疃〞r(shí)器，時(shí)間等待計(jì)時(shí)器的相關(guān)資料,需要的朋友可以參考下2017-03-03
Maven是一個(gè)項(xiàng)目管理工具，它包含了一個(gè)項(xiàng)目對(duì)象模型 (Project Object Model)，這篇文章主要介紹了maven命令大全,需要的朋友可以參考下2020-07-07
在本文中，我們將探討軟件開(kāi)發(fā)過(guò)程中關(guān)于角色、重構(gòu)和質(zhì)量的問(wèn)題。軟件不僅成為了一個(gè)必需品，更成為了一個(gè)競(jìng)爭(zhēng)優(yōu)勢(shì)。因?yàn)楸姸喙緡@軟件而競(jìng)爭(zhēng)，軟件開(kāi)發(fā)相關(guān)的事宜顯得越發(fā)重要。開(kāi)發(fā)軟件的人—軟件工程師正顯得越發(fā)重要。2021-05-05
Hbuilder連遠(yuǎn)程接服務(wù)器上傳代碼的圖文教程
下面小編就為大家分享一篇Hbuilder連遠(yuǎn)程接服務(wù)器上傳代碼的圖文教程，具有很好的參考價(jià)值，一起跟隨小編過(guò)來(lái)看看吧，希望對(duì)大家有所幫助2017-11-11
Windows API函數(shù)大全，從事軟件開(kāi)發(fā)的朋友可以參考下2012-05-05