1. Spark簡介

• 2009年，Spark誕生于伯克利大學(xué)的AMPLab實驗室。最出Spark只是一個實驗性的項目，代碼量非常少，屬于輕量級的框架。
• 2010年，伯克利大學(xué)正式開源了Spark項目。
• 2013年6月，Spark成為了Apache基金會下的項目，進入高速發(fā)展期。第三方開發(fā)者貢獻了大量的代碼，活躍度非常高
• 2014年2月，Spark以飛快的速度稱為了Apache的頂級項目，同時大數(shù)據(jù)公司Cloudera宣稱加大Spark框架的投入來取代MapReduce
• 2014年4月，大數(shù)據(jù)公司MapR投入Spark陣營， Apache Mahout放棄MapReduce，將使用Spark作為計算引擎。
• 2014年5月，Spark 1.0.0 發(fā)布。
• 2015年~，Spark在國內(nèi)IT行業(yè)變得愈發(fā)火爆，越來越多的公司開始重點部署或者使用Spark來替代MR2、Hive、Storm等傳統(tǒng)的大數(shù)據(jù)并行計算框架

2. Spark是什么?

• Apache Spark™ is a unified analytics engine for large-scale data processing.
• 大規(guī)模數(shù)據(jù)集的統(tǒng)一分析引擎
• Spark是一個基于內(nèi)存的通用并行計算框架，目的是讓數(shù)據(jù)分析更加快速
• Spark包含了大數(shù)據(jù)領(lǐng)域常見的各種計算框架
  • spark core(離線計算)
  • sparksql(交互式查詢)
  • spark streaming(實時計算)
  • Spark MLlib (機器學(xué)習(xí))
  • Spark GraphX (圖計算)

3. Spark能代替hadoop嗎?

​ 不完全對

​ 因為我們只能使用spark core代替mr做離線計算,數(shù)據(jù)的存儲還是要依賴hdfs

​ Spark+Hadoop的組合，才是未來大數(shù)據(jù)領(lǐng)域最熱門的組合，也是最有前景的組合！​

4. Spark的特點

速度

• 內(nèi)存計算在速度上要比mr快100倍以上
• 磁盤計算在速度上要比mr快10倍以上

容易使用

• 提供了java scala python R語言的api接口

一站式解決方案

• spark core(離線計算)
• spark sql(交互式查詢)
• spark streaming(實時計算)
• .....

可以運行在任意的平臺

• yarn
• Mesos
• standalone

5. Spark的缺點

JVM的內(nèi)存overhead太大，1G的數(shù)據(jù)通常需要消耗5G的內(nèi)存 (Project Tungsten 正試圖解決這個問題 )

不同的spark app之間缺乏有效的共享內(nèi)存機制(Project Tachyon 在試圖引入分布式的內(nèi)存管理，這樣不同的spark app可以共享緩存的數(shù)據(jù))

6. Spark vs MR

6.1 mr的局限性

• 抽象層次低，需要手工編寫代碼來完成，使用上難以上手
• 只提供兩個操作，Map和Reduce，表達力欠缺
• 一個Job只有Map和Reduce兩個階段（Phase）， 復(fù)雜的計算需要大量的Job完成，Job之間的依賴關(guān)系是由開發(fā)者自己管理的
• 中間結(jié)果 (reduce的輸出結(jié)果) 也放在HDFS文件系統(tǒng)中
• 延遲高，只適用Batch數(shù)據(jù)處理，對于交互式數(shù)據(jù)處理，實時數(shù)據(jù)處理的支持不夠
• 對于迭代式數(shù)據(jù)處理性能比較差

6.2 Spark解決了mr中的那些問題?

抽象層次低，需要手工編寫代碼來完成，使用上難以上手

• 通過spark中的RDD(Resilient distributed datasets)來進行抽象

只提供兩個操作，Map和Reduce，表達力欠缺

• 在spark中提供了多種算子

一個Job只有Map和Reduce兩個階段

• 在spark中可以有多個階段(stage)

中間結(jié)果也放在HDFS文件系統(tǒng)中(速度慢)

• 中間結(jié)果放在內(nèi)存中，內(nèi)存放不下了會寫入本地磁盤，而不是HDFS

延遲高，只適用Batch數(shù)據(jù)處理，對于交互式數(shù)據(jù)處理，實時數(shù)據(jù)處理的支持不夠

• sparksql和sparkstreaming解決了上面問題

對于迭代式數(shù)據(jù)處理性能比較差

• 通過在內(nèi)存中緩存數(shù)據(jù)，提高迭代式計算的性能

==因此，Hadoop MapReduce會被新一代的大數(shù)據(jù)處理平臺替代是技術(shù)發(fā)展的趨勢，而在新一代的大數(shù)據(jù)處理平臺中，Spark目前得到了最廣泛的認(rèn)可和支持==

7. Spark的版本

• spark1.6.3 : scala的版本2.10.5
• spark2.2.0 : scala的版本2.11.8(新項目建議使用spark2.x的版本)
• hadoop2.7.5

8. Spark單機版的安裝

準(zhǔn)備安裝包spark-2.2.0-bin-hadoop2.7.tgz

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/
mv spark-2.2.0-bin-hadoop2.7/ spark

修改spark-env.sh

export JAVA_HOME=/opt/jdk
export SPARK_MASTER_IP=uplooking01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=4
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

配置環(huán)境變量

#配置Spark的環(huán)境變量
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

啟動單機版spark

start-all-spark.sh

查看啟動

http://uplooking01:8080

9. Spark分布式集群的安裝

配置spark-env.sh

[root@uplooking01 /opt/spark/conf] 
  export JAVA_HOME=/opt/jdk
  #配置master的主機
  export SPARK_MASTER_IP=uplooking01
  #配置master主機通信的端口
  export SPARK_MASTER_PORT=7077
  #配置spark在每個worker中使用的cpu核數(shù)
  export SPARK_WORKER_CORES=4
  #配置每個主機有一個worker
  export SPARK_WORKER_INSTANCES=1
  #worker的使用內(nèi)存是2gb
  export SPARK_WORKER_MEMORY=2g
  #hadoop的配置文件中的目錄
  export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

配置slaves

[root@uplooking01 /opt/spark/conf]
  uplooking03
  uplooking04
  uplooking05

分發(fā)spark

[root@uplooking01 /opt/spark/conf] 
  scp -r /opt/spark uplooking02:/opt/
  scp -r /opt/spark uplooking03:/opt/
  scp -r /opt/spark uplooking04:/opt/
  scp -r /opt/spark uplooking05:/opt/

分發(fā)uplooking01上配置的環(huán)境變量

[root@uplooking01 /] 
  scp -r /etc/profile uplooking02:/etc/
  scp -r /etc/profile uplooking03:/etc/
  scp -r /etc/profile uplooking04:/etc/
  scp -r /etc/profile uplooking05:/etc/

啟動spark

[root@uplooking01 /] 
 start-all-spark.sh

10. Spark高可用集群

先停止正在運行的spark集群

修改spark-env.sh

#注釋以下這兩行內(nèi)容
#export SPARK_MASTER_IP=uplooking01
#export SPARK_MASTER_PORT=7077

添加內(nèi)容

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=uplooking03:2181,uplooking04:2181,uplooking05:2181 -Dspark.deploy.zookeeper.dir=/spark"

分發(fā)修改的[配置

scp /opt/spark/conf/spark-env.sh uplooking02:/opt/spark/conf
scp /opt/spark/conf/spark-env.sh uplooking03:/opt/spark/conf
scp /opt/spark/conf/spark-env.sh uplooking04:/opt/spark/conf
scp /opt/spark/conf/spark-env.sh uplooking05:/opt/spark/conf

啟動集群

[root@uplooking01 /]
 start-all-spark.sh
[root@uplooking02 /]
 start-master.sh

11. 第一個Spark-Shell程序

spark-shell --master spark://uplooking01:7077 
#spark-shell可以在啟動時指定spark-shell這個application使用的資源(總核數(shù),每個work上使用的內(nèi)存)
spark-shell --master spark://uplooking01:7077 --total-executor-cores 6 --executor-memory 1g

#如果不指定 默認(rèn)使用每個worker上全部的核數(shù),和每個worker上的1g內(nèi)存

sc.textFile("hdfs://ns1/sparktest/").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).collect

12. Spark中的角色

Master

• 負(fù)責(zé)接收提交的作業(yè)的請求
• master負(fù)責(zé)調(diào)度資源(在woker中啟動CoarseGrainedExecutorBackend)

Worker

• worker中的executor負(fù)責(zé)執(zhí)行task

Spark-Submitter ===> Driver

• 提交spark應(yīng)用程序給master

13. Spark提交作業(yè)的大體流程

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論