2018即將推出的Apache Spark 2.4都有哪些新功能
更新時(shí)間：2018年09月29日 10:12:43 作者：青色的海牛
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個(gè)版本。 本文對(duì)Apache Spark 2.4 的主要功能和增強(qiáng)功能進(jìn)行了概述,需要的朋友可以參考下
本文來(lái)自于2018年09月19日在 Adobe Systems Inc 舉行的Apache Spark Meetup。
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個(gè)版本。 本文對(duì)Apache Spark 2.4 的主要功能和增強(qiáng)功能進(jìn)行了概述。
- 新的調(diào)度模型（Barrier Scheduling），使用戶能夠?qū)⒎植际缴疃葘W(xué)習(xí)訓(xùn)練恰當(dāng)?shù)厍度氲?Spark 的 stage 中，以簡(jiǎn)化分布式訓(xùn)練工作流程。
- 添加了35個(gè)高階函數(shù)，用于在 Spark SQL 中操作數(shù)組/map。
- 新增一個(gè)新的基于 Databricks 的 spark-avro 模塊的原生 AVRO 數(shù)據(jù)源。
- PySpark 還為教學(xué)和可調(diào)試性的所有操作引入了熱切的評(píng)估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客戶端模式（client-mode）。
- Structured Streaming 的各種增強(qiáng)功能。 例如，連續(xù)處理（continuous processing）中的有狀態(tài)操作符。
- 內(nèi)置數(shù)據(jù)源的各種性能改進(jìn)。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
點(diǎn)擊 示說(shuō)網(wǎng) ，即可下載此PPT。
總結(jié)
以上所述是小編給大家介紹的2018即將推出的Apache Spark 2.4都有哪些新功能，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
基于Xshell使用密鑰方式連接遠(yuǎn)程主機(jī)
這篇文章主要為大家詳細(xì)介紹了基于Xshell使用密鑰方式連接遠(yuǎn)程主機(jī)的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-06-06
今天小編就為大家分享一篇關(guān)于使用autoconf生成Makefile并編譯工程的步驟，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-02-02
Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴(kuò)展操作詳解
這篇文章主要介紹了Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴(kuò)展操作,結(jié)合實(shí)例形式分析了Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴(kuò)展的相關(guān)原理、步驟、配置命令與操作注意事項(xiàng),需要的朋友可以參考下2020-03-03
本篇文章主要介紹了wget命令，Linux系統(tǒng)中的wget是一個(gè)下載文件的工具，非常具有實(shí)用價(jià)值，需要的朋友可以參考下。2016-11-11
下面小編就為大家?guī)?lái)一篇linux tar壓縮排除某個(gè)文件夾的方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-12-12
這篇文章主要介紹了linux之如何查找包含指定關(guān)鍵字的文件問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
本篇文章將從源碼的角度剖析內(nèi)核調(diào)度的具體原理和實(shí)現(xiàn)，以Linux kernel 5.4 版本(TencentOS Server3 默認(rèn)內(nèi)核版本)為對(duì)象，從調(diào)度器子系統(tǒng)的初始化代碼開(kāi)始，分析Linux內(nèi)核調(diào)度器的設(shè)計(jì)與實(shí)現(xiàn)2021-06-06
預(yù)防PHPDDOS的發(fā)包攻擊別人的方法(iis+linux)
最近很多美國(guó)VPS客戶被人通過(guò)dedecms漏洞等等入侵.導(dǎo)致phpddos 很猖狂，占用大量帶寬，影響網(wǎng)站，浪費(fèi)流量2012-04-04
Ruby是一個(gè)開(kāi)源的動(dòng)態(tài)編程語(yǔ)言，本篇文章主要介紹了Ubuntu系統(tǒng)安裝Ruby的三種方法，有興趣的可以了解一下。2016-11-11
linux服務(wù)器下完美解決無(wú)法刪除虛擬主機(jī)文件或文件夾
大家在使用Linux的虛擬主機(jī)時(shí)候有沒(méi)有出現(xiàn)過(guò)通過(guò)FTP無(wú)法刪除網(wǎng)站路徑中的一些文件夾和文件,FTP工具軟件會(huì)提示Permission Denied(沒(méi)有權(quán)限)，或者 550刪除目錄操作失敗2016-08-08