一.了解Spark、PySpark

Spark是什么

定義:Apache Spark是用于大規(guī)模數(shù)據(jù)（large-scala data）處理的統(tǒng)一（unified）分析引擎。

簡(jiǎn)單來(lái)說(shuō)，Spark是一款分布式的計(jì)算框架，用于調(diào)度成百上千的服務(wù)器集群，計(jì)算TB、PB乃至EB級(jí)別的海量數(shù)據(jù)

Python on Spark

Spark作為全球頂級(jí)的分布式計(jì)算框架,支持眾多的編程語(yǔ)言進(jìn)行開(kāi)發(fā)。而Python語(yǔ)言,則是Spark重點(diǎn)支持的方向。

Pyspark

Spark對(duì)Python語(yǔ)言的支持,重點(diǎn)體現(xiàn)在，Python第三方庫(kù): PySpark之上。
PySpark是由Spark官方開(kāi)發(fā)的Python語(yǔ)言第三方庫(kù)。
Python開(kāi)發(fā)者可以使用pip程序快速的安裝PySpark并像其它三方庫(kù)那樣直接使用。

 小結(jié)

1.什么是Spark、什么是PySpark

• Spark是Apache基金會(huì)旗下的頂級(jí)開(kāi)源項(xiàng)目,用于對(duì)海量數(shù)據(jù)進(jìn)行大規(guī)模分布式計(jì)算。
• PySpark是Spark的Python實(shí)現(xiàn)，是Spark為Python開(kāi)發(fā)者提供的編程入口，用于以Python代碼完成Spark任務(wù)的開(kāi)發(fā)
• PySpark不僅可以作為Python第三方庫(kù)使用,也可以將程序提交的Spark集群環(huán)境中,調(diào)度大規(guī)模集群進(jìn)行執(zhí)行。

2.為什么要學(xué)習(xí)PySpark?
大數(shù)據(jù)開(kāi)發(fā)是Python眾多就業(yè)方向中的明星賽道,薪資高崗位多，Spark ( PySpark)又是大數(shù)據(jù)開(kāi)發(fā)中的核心技術(shù)

二.構(gòu)建PySpark執(zhí)行環(huán)境入口對(duì)象

想要使用PySpark庫(kù)完成數(shù)據(jù)處理,首先需要構(gòu)建一個(gè)執(zhí)行環(huán)境入口對(duì)象。PySpark的執(zhí)行環(huán)境入口對(duì)象是:類(lèi)SparkContext的類(lèi)對(duì)象

 注意：

 紅框里面的兩個(gè)都是一個(gè)意思，上面的方法叫做鏈?zhǔn)秸{(diào)用

#導(dǎo)包
from pyspark import SparkConf,SparkContext
#創(chuàng)建SparkConf類(lèi)對(duì)象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark_app")
#基于SparkConf類(lèi)對(duì)象創(chuàng)建SparkContext對(duì)象
sc=SparkContext(conf=conf)
#打印Pyspark版本
print(sc.version)
#停止SparkContext對(duì)象的運(yùn)行（停止PySpark程序）
sc.stop()

 注意：要想運(yùn)行成功需要下載JDK并配置好環(huán)境變量

PySpark的編程模型

SparkContext類(lèi)對(duì)象，是PySpark編程中一切功能的入口。PySpark的編程,主要分為如下三大步驟:

• 通過(guò)SparkContext對(duì)象，完成數(shù)據(jù)輸入
• 輸入數(shù)據(jù)后得到RDD對(duì)象，對(duì)RDD對(duì)象進(jìn)行迭代計(jì)算
• 最終通過(guò)RDD對(duì)象的成員方法,完成數(shù)據(jù)輸出工作

小結(jié)

1.如何安裝PySpark庫(kù)
        pip install pyspark
2.為什么要構(gòu)建SparkContext對(duì)象作為執(zhí)行入口
        PySpark的功能都是從SparkContext對(duì)象作為開(kāi)始
3.PySpark的編程模型是?

• 數(shù)據(jù)輸入:通過(guò)SparkContext完成數(shù)據(jù)讀取
• 數(shù)據(jù)計(jì)算:讀取到的數(shù)據(jù)轉(zhuǎn)換為RDD對(duì)象，調(diào)用RDD的成員方法完成計(jì)算
• 數(shù)據(jù)輸出:調(diào)用RDD的數(shù)據(jù)輸出相關(guān)成員方法,將結(jié)果輸出到list、元組、字典、文本文件、數(shù)據(jù)庫(kù)等

三.RDD對(duì)象

如圖可見(jiàn)，PySpark支持多種數(shù)據(jù)的輸入，在輸入完成后,都會(huì)得到一個(gè):RDD類(lèi)的對(duì)象
RDD全稱(chēng)為:彈性分布式數(shù)據(jù)集( Resilient Distributed Datasets)
PySpark針對(duì)數(shù)據(jù)的處理,都是以RDD對(duì)象作為載體，即:

• 數(shù)據(jù)存儲(chǔ)在RDD內(nèi)
• 各類(lèi)數(shù)據(jù)的計(jì)算方法,也都是RDD的成員方法
• RDD的數(shù)據(jù)計(jì)算方法，返回值依舊是RDD對(duì)象

python數(shù)據(jù)容器轉(zhuǎn)RDD對(duì)象

PySpark支持通過(guò)Sparkcontext對(duì)象的parallelize成員方法,將:

• list
• tuple
• set
• dict
• str

轉(zhuǎn)為PySpark的RDD對(duì)象

代碼：

 注意

• 字符串會(huì)被拆分出1個(gè)個(gè)的字符
• 存入RDD對(duì)象字典僅有key會(huì)被存入RDD對(duì)象
• 如果要查看RDD里面有什么內(nèi)容，需要用collect()方法

演示

#導(dǎo)包
from pyspark import  SparkConf,SparkContext
#創(chuàng)建SparkConf類(lèi)對(duì)象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf類(lèi)對(duì)象創(chuàng)建SparkContext對(duì)象
sc=SparkContext(conf=conf)
 
#通過(guò)parallelize方法將python對(duì)象加載到Spark內(nèi)，成為RDD對(duì)象
rdd1=sc.parallelize([1,2,3,4,5])
rdd2=sc.parallelize((1,2,3,4,5))
rdd3=sc.parallelize("abcdefg")
rdd4=sc.parallelize({1,2,3,4,5})
rdd5=sc.parallelize({"key1":"value1","key2":"value2"})
#如果要查看RDD里面有什么內(nèi)容，需要用collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())
#停止SparkContext對(duì)象的運(yùn)行（停止PySpark程序）
sc.stop()

結(jié)果是

 讀取文件轉(zhuǎn)RDD對(duì)象

PySpark也支持通過(guò)SparkContext入口對(duì)象，來(lái)讀取文件，來(lái)構(gòu)建出RDD對(duì)象。

 演示

#導(dǎo)包
from pyspark import  SparkConf,SparkContext
#創(chuàng)建SparkConf類(lèi)對(duì)象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf類(lèi)對(duì)象創(chuàng)建SparkContext對(duì)象
sc=SparkContext(conf=conf)
#用textFile方法，讀取文件數(shù)據(jù)加載到Spark中，成為RDD對(duì)象
rdd=sc.textFile("D:/game.txt")
print(rdd.collect())
#停止SparkContext對(duì)象的運(yùn)行（停止PySpark程序）
sc.stop()

結(jié)果是

到此這篇關(guān)于PySpark和RDD對(duì)象詳解的文章就介紹到這了,更多相關(guān)PySpark和RDD對(duì)象內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論