詳解IntelliJ IDEA創(chuàng)建spark項目的兩種方式
Intellij是進行scala開發(fā)的一個非常好用的工具,可以非常輕松查看scala源碼,當然用它來開發(fā)Java也是很爽的,之前一直在用scala ide和eclipse,現(xiàn)在換成intellij簡直好用到飛起,但是有些人不知道怎么用intellij去創(chuàng)建一個spark項目,這里介紹兩種
1、選擇File->new Project->Java->Scala,這里scala版本是2.11.8
2 .之后一路點擊next,直到finish,創(chuàng)建完的項目見下圖,這時候已經(jīng)可以創(chuàng)建scala文件了,接下來就可以添加spark相關的jar包了,從官網(wǎng)下載http://spark.apache.org/downloads.html,我這里用的是spark-2.2.1-bin-hadoop2.7,你可以根據(jù)自己需要選擇相應的版本,下載完壓縮包后解壓
3 . 選擇File->Project Structure->Libraries,點擊+,選擇Java,選擇之前下載的spark2.2-hadoop2.7解壓后的jars文件夾,將該文件夾下的jar包全部引進該項目,見下圖
4 . 之后在libraries中點擊+,選擇scala sdk,這里選擇系統(tǒng)版本的scala,為2.11.8版本,添加見下圖
5 . 添加完畢后Project Structure類似于下面這種格式
6 .現(xiàn)在該項目有了spark的jar和scala的sdk,之后創(chuàng)建一個scala文件進行測試,代碼及運行結果見下圖
7 .出現(xiàn)上面這些內(nèi)容表明Intellij創(chuàng)建spark項目成功,總結一下這種方式需要引入scala sdk以及spark的jar包,還有另外一種方式是見下圖,選擇File->New Project->Scala->IDEA,選擇next
8 .之后指定項目名稱和項目所處位置,點擊finish,創(chuàng)建項目
9 .這時候創(chuàng)建的項目如下,這種情況下可以直接右鍵new 創(chuàng)建scala文件,不需要在額外添加scala sdk
10 .接下來的操作和上面那種一樣,添加spark jar包即可,添加完后測試一下
11 .成功輸出,表明Intellij創(chuàng)建spark項目成功,當然前提是intellij安裝了scala插件,在File->Settings->Plugins,搜索scala,根據(jù)查找的結果進行安裝后重啟intellij即可,下圖是我已經(jīng)安裝好的
以上就是兩種創(chuàng)建spark項目的方式,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
70行Java代碼實現(xiàn)深度神經(jīng)網(wǎng)絡算法分享
這篇文章主要介紹了70行Java代碼實現(xiàn)深度神經(jīng)網(wǎng)絡算法分享,涉及神經(jīng)網(wǎng)絡的計算過程,神經(jīng)網(wǎng)絡的算法程序?qū)崿F(xiàn),多層神經(jīng)網(wǎng)絡完整程序?qū)崿F(xiàn)等相關內(nèi)容,具有一定參考價值,需要的朋友可以參考下。2017-11-11SpringBoot應用啟動慢的原因分析及優(yōu)化方法
在使用Spring Boot進行開發(fā)時,快速啟動應用程序是一個非常重要的需求,然而,在某些情況下,我們會遇到Spring Boot應用啟動緩慢的問題,本文將分析Spring Boot應用啟動慢的常見原因,并提供一些優(yōu)化方法,需要的朋友可以參考下2024-08-08SpringBoot生產(chǎn)環(huán)境打包如何去除無用依賴
這篇文章主要介紹了SpringBoot生產(chǎn)環(huán)境打包如何去除無用依賴問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09