詳解IntelliJ IDEA創(chuàng)建spark項(xiàng)目的兩種方式
Intellij是進(jìn)行scala開(kāi)發(fā)的一個(gè)非常好用的工具，可以非常輕松查看scala源碼，當(dāng)然用它來(lái)開(kāi)發(fā)Java也是很爽的，之前一直在用scala ide和eclipse，現(xiàn)在換成intellij簡(jiǎn)直好用到飛起，但是有些人不知道怎么用intellij去創(chuàng)建一個(gè)spark項(xiàng)目，這里介紹兩種
1、選擇File->new Project->Java->Scala,這里scala版本是2.11.8
2 .之后一路點(diǎn)擊next，直到finish，創(chuàng)建完的項(xiàng)目見(jiàn)下圖，這時(shí)候已經(jīng)可以創(chuàng)建scala文件了，接下來(lái)就可以添加spark相關(guān)的jar包了，從官網(wǎng)下載http://spark.apache.org/downloads.html，我這里用的是spark-2.2.1-bin-hadoop2.7，你可以根據(jù)自己需要選擇相應(yīng)的版本，下載完壓縮包后解壓
3 . 選擇File->Project Structure->Libraries,點(diǎn)擊+，選擇Java，選擇之前下載的spark2.2-hadoop2.7解壓后的jars文件夾，將該文件夾下的jar包全部引進(jìn)該項(xiàng)目，見(jiàn)下圖
4 . 之后在libraries中點(diǎn)擊+，選擇scala sdk，這里選擇系統(tǒng)版本的scala，為2.11.8版本,添加見(jiàn)下圖
5 . 添加完畢后Project Structure類(lèi)似于下面這種格式
6 .現(xiàn)在該項(xiàng)目有了spark的jar和scala的sdk，之后創(chuàng)建一個(gè)scala文件進(jìn)行測(cè)試,代碼及運(yùn)行結(jié)果見(jiàn)下圖
7 .出現(xiàn)上面這些內(nèi)容表明Intellij創(chuàng)建spark項(xiàng)目成功，總結(jié)一下這種方式需要引入scala sdk以及spark的jar包，還有另外一種方式是見(jiàn)下圖，選擇File->New Project->Scala->IDEA，選擇next
8 .之后指定項(xiàng)目名稱(chēng)和項(xiàng)目所處位置，點(diǎn)擊finish，創(chuàng)建項(xiàng)目
9 .這時(shí)候創(chuàng)建的項(xiàng)目如下，這種情況下可以直接右鍵new 創(chuàng)建scala文件，不需要在額外添加scala sdk
10 .接下來(lái)的操作和上面那種一樣，添加spark jar包即可，添加完后測(cè)試一下
11 .成功輸出，表明Intellij創(chuàng)建spark項(xiàng)目成功，當(dāng)然前提是intellij安裝了scala插件，在File->Settings->Plugins,搜索scala，根據(jù)查找的結(jié)果進(jìn)行安裝后重啟intellij即可，下圖是我已經(jīng)安裝好的
以上就是兩種創(chuàng)建spark項(xiàng)目的方式，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在實(shí)際開(kāi)發(fā)中不僅僅是要展示數(shù)據(jù)，還要構(gòu)成數(shù)據(jù)模型添加數(shù)據(jù)，這篇文章主要介紹了SpringBoot集成Mybatis操作數(shù)據(jù)庫(kù)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
InetAddress類(lèi)是Java中用于表示IP地址的類(lèi),本文就來(lái)介紹一下Java中InetAddress類(lèi)的使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-09-09
70行Java代碼實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)算法分享
這篇文章主要介紹了70行Java代碼實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)算法分享，涉及神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程，神經(jīng)網(wǎng)絡(luò)的算法程序?qū)崿F(xiàn)，多層神經(jīng)網(wǎng)絡(luò)完整程序?qū)崿F(xiàn)等相關(guān)內(nèi)容，具有一定參考價(jià)值，需要的朋友可以參考下。2017-11-11
SpringBoot搭配AOP實(shí)現(xiàn)自定義注解
這篇文章主要為大家詳細(xì)介紹了SpringBoot如何搭配AOP實(shí)現(xiàn)自定義注解，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2022-12-12
這篇文章主要介紹了Java自定義異常與異常使用的最佳方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-08-08
今天給大家?guī)?lái)的是Java的相關(guān)知識(shí),文章圍繞著怎么用Springboot自定義Banner圖案展開(kāi),文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
SpringBoot應(yīng)用啟動(dòng)慢的原因分析及優(yōu)化方法
在使用Spring Boot進(jìn)行開(kāi)發(fā)時(shí),快速啟動(dòng)應(yīng)用程序是一個(gè)非常重要的需求,然而,在某些情況下,我們會(huì)遇到Spring Boot應(yīng)用啟動(dòng)緩慢的問(wèn)題,本文將分析Spring Boot應(yīng)用啟動(dòng)慢的常見(jiàn)原因,并提供一些優(yōu)化方法,需要的朋友可以參考下2024-08-08
SpringBoot生產(chǎn)環(huán)境打包如何去除無(wú)用依賴(lài)
這篇文章主要介紹了SpringBoot生產(chǎn)環(huán)境打包如何去除無(wú)用依賴(lài)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
Mybatis源碼分析之存儲(chǔ)過(guò)程調(diào)用和運(yùn)行流程
這一篇我們學(xué)習(xí)一下Mybatis調(diào)用存儲(chǔ)過(guò)程的使用和運(yùn)行流程，首先我們創(chuàng)建一個(gè)簡(jiǎn)單的存儲(chǔ)過(guò)程，具體創(chuàng)建過(guò)程大家可以通過(guò)本文學(xué)習(xí)下2016-11-11
這篇文章主要介紹了Java中的Graphics2D類(lèi)基本使用教程,Graphics2D類(lèi)較之Graphics類(lèi)中的功能更加專(zhuān)業(yè),需要的朋友可以參考下2015-10-10