如何在IDEA運行spark程序(搭建Spark開發(fā)環(huán)境)
建議大家寫在Linux上搭建好Hadoop的完全分布式集群環(huán)境和Spark集群環(huán)境，以下在IDEA中搭建的環(huán)境僅僅是在window系統(tǒng)上進行spark程序的開發(fā)學習，在window系統(tǒng)上可以不用安裝hadoop和spark，spark程序可以通過pom.xml的文件配置，添加spark-core依賴，可以直接在IDEA中編寫spark程序并運行結果。
一、相關軟件的下載及環(huán)境配置
1.jdk的下載安裝及環(huán)境變量配置（我選擇的版本是jdk8.0（即jdk1.8），建議不要使用太高版本的，不然配置pom.xml容易報錯）
鏈接: https://pan.baidu.com/s/1ARiP-XX-0yi4Ev2y8BEfyA?pwd=r64b
提取碼: r64b
雙擊安裝包，一直“Next”即可，最好不要安裝到C盤，中間修改一下安裝路徑即可，最后點擊“Finish”。我將jdk1.8安裝在了D盤目錄下的soft文件夾，bin路徑如下：
配置環(huán)境變量：
win+R打開命令窗口輸入：javac -verison ，進行檢測是否成功配置環(huán)境變量：
2.IDEA的下載安裝（我選擇的版本是2019.2.3，建議選擇低版本的IDEA）
官網下載地址：IntelliJ IDEA – 領先的 Java 和 Kotlin IDE (jetbrains.com.cn)
3.scala的下載（我選擇的版本是2.12.15）安裝及環(huán)境變量的配置
官網下載地址：The Scala Programming Language (scala-lang.org)
雙擊打開下載好的安裝程序，一直“Next”即可，最好不要安裝到C盤，中間修改一下安裝路徑即可，最后點擊“Finish”。我將scala軟件安裝在了D盤目錄下的Develop文件夾，bin路徑如下：
配置scala的系統(tǒng)環(huán)境變量，將scala安裝的bin目錄路徑加入到系統(tǒng)環(huán)境變量path中：
win+R打開命令窗口輸入：scala -verison ，進行檢測是否成功配置環(huán)境變量：
4.scala插件（版本要與IDEA版本保持一致，下載2019.2.3版本）的下載安裝
官網地址：Scala - IntelliJ IDEs Plugin | Marketplace
下載完成后，將下載的壓縮包解壓到IDEA安裝目錄下的plugins目錄下：
5.maven的下載（我選擇的版本是3.5.4）與安裝，系統(tǒng)環(huán)境變量的配置
官網地址:Maven – Download Apache Maven
將對應版本的壓縮包下載到本地,并新建一個文件夾Localwarehouse，用來保存下載的依賴文件
配置maven的系統(tǒng)環(huán)境配置，跟以上配置的方法一樣，將bin目錄地址寫入path環(huán)境變量：
打開maven安裝包下的conf文件夾下面的settings.xml,添加如下代碼：
<localRepository>D:\\Develop\\maven\\Localwarehouse</localRepository>
添加如下代碼用來配置jdk版本：
<profile>
<id>jdk-1.8.0</id>
<activation>
<activeByDefault>true</activeByDefault>
<jdk>1.8.0</jdk>
</activation>
<properties>
<maven.compiler.source>1.8.0</maven.compiler.source>
<maven.compiler.target>1.8.0</maven.compiler.target>
<maven.compiler.compilerVersion>1.8.0</maven.compiler.compilerVersion>
</properties>
</profile>
二、將maven加載到IDEA中
三、檢測scala插件是否在IDEA中已經安裝成功
四、用maven新建一個工程項目
五、配置pom.xml文件
1.如果只需要在本地運行spark程序，則只需要添加scala-library、spark-core、spark-sql、spark-streaming等依賴，添加代碼如下：
<properties>
<!-- 聲明scala的版本 -->
<scala.version>2.12.15</scala.version>
<!-- 聲明linux集群搭建的spark版本，如果沒有搭建則不用寫 -->
<spark.version>3.2.1</spark.version>
<!-- 聲明linux集群搭建的Hadoop版本 ，如果沒有搭建則不用寫-->
<hadoop.version>3.1.4</hadoop.version>
</properties>
<dependencies>
<!--scala-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>3.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.12</artifactId>
<version>3.2.1</version>
<scope>provided</scope>
</dependency>
</dependencies>六、新建scala類文件編寫代碼
當你右鍵發(fā)現無法新建scala類，需要將scala SDK添加到當前項目中。
鼠標點擊java文件夾，右鍵new--->Scala Class
在WordCount文件中編寫如下代碼：
import org.apache.spark.sql.SparkSession
object WordCount {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.master("local[*]")
.appName("word count")
.getOrCreate()
val sc = spark.sparkContext
val rdd = sc.textFile("data/input/words.txt")
val counts = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
counts.collect().foreach(println)
println("全部的單詞數："+counts.count())
counts.saveAsTextFile("data/output/word-count")
}
}準備好測試文件words.txt,將文件存放在scalaproject-->data-->input-->words.txt
hello me you her hello me you hello me hello
運行WordCount程序
運行結果：
到此這篇關于在IDEA運行spark程序（搭建Spark開發(fā)環(huán)境）的文章就介紹到這了,更多相關IDEA運行spark程序內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Jenkins使用Gradle編譯Android項目詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
Failed to execute goal org...的解決辦法
這篇文章主要介紹了Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1的解決辦法的相關資料,需要的朋友可以參考下2017-06-06
這篇文章主要介紹了Java數組(Array)最全匯總(下篇)，本文章內容詳細，通過案例可以更好的理解數組的相關知識，本模塊分為了三部分，本次為下篇，需要的朋友可以參考下2023-01-01
這篇文章主要介紹了利用Java工具類Hutool實現驗證碼校驗功能,利用Hutool實現驗證碼校驗，校驗的Servlet與今天的第一篇是一樣的，唯一就是驗證碼的生成是不一樣的,利用Hutool生成驗證碼更快捷.需要的朋友可以參考下2022-10-10
java中單例模式是一種常見的設計模式，單例模式分三種：懶漢式單例、餓漢式單例、登記式單例三種，下面提供了單例模式的示例2014-01-01
Spring的兩大內核分別是IOC和AOP，其中最最核心的是IOC。這篇文章主要介紹了五分鐘，手擼一個Spring容器的相關知識,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了JAVA 修飾符的的相關資料，文中代碼非常詳細，幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-06-06
這篇文章主要介紹了在mybatis中去除多余的前綴或者后綴操作。具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-11-11
SpringBoot測試時卡在Resolving Maven dependencies的問題
這篇文章主要介紹了SpringBoot測試時卡在Resolving Maven dependencies的問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-02-02
這篇文章主要為大家介紹了Netty開發(fā)及粘包實戰(zhàn)解決分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-02-02