2018即將推出的Apache Spark 2.4都有哪些新功能
更新時間：2018年09月29日 10:12:43 作者：青色的海牛
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個版本。 本文對Apache Spark 2.4 的主要功能和增強功能進行了概述,需要的朋友可以參考下
本文來自于2018年09月19日在 Adobe Systems Inc 舉行的Apache Spark Meetup。
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個版本。 本文對Apache Spark 2.4 的主要功能和增強功能進行了概述。
- 新的調度模型（Barrier Scheduling），使用戶能夠將分布式深度學習訓練恰當?shù)厍度氲?Spark 的 stage 中，以簡化分布式訓練工作流程。
- 添加了35個高階函數(shù)，用于在 Spark SQL 中操作數(shù)組/map。
- 新增一個新的基于 Databricks 的 spark-avro 模塊的原生 AVRO 數(shù)據(jù)源。
- PySpark 還為教學和可調試性的所有操作引入了熱切的評估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客戶端模式（client-mode）。
- Structured Streaming 的各種增強功能。 例如，連續(xù)處理（continuous processing）中的有狀態(tài)操作符。
- 內置數(shù)據(jù)源的各種性能改進。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
點擊 示說網(wǎng) ，即可下載此PPT。
總結
以上所述是小編給大家介紹的2018即將推出的Apache Spark 2.4都有哪些新功能，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關文章
這篇文章主要為大家詳細介紹了基于Xshell使用密鑰方式連接遠程主機的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06
今天小編就為大家分享一篇關于使用autoconf生成Makefile并編譯工程的步驟，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02
Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴展操作詳解
這篇文章主要介紹了Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴展操作,結合實例形式分析了Ubuntu18.04系統(tǒng)安裝、配置Redis及phpredis擴展的相關原理、步驟、配置命令與操作注意事項,需要的朋友可以參考下2020-03-03
本篇文章主要介紹了wget命令，Linux系統(tǒng)中的wget是一個下載文件的工具，非常具有實用價值，需要的朋友可以參考下。2016-11-11
下面小編就為大家?guī)硪黄猯inux tar壓縮排除某個文件夾的方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-12-12
這篇文章主要介紹了linux之如何查找包含指定關鍵字的文件問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-06-06
本篇文章將從源碼的角度剖析內核調度的具體原理和實現(xiàn)，以Linux kernel 5.4 版本(TencentOS Server3 默認內核版本)為對象，從調度器子系統(tǒng)的初始化代碼開始，分析Linux內核調度器的設計與實現(xiàn)2021-06-06
預防PHPDDOS的發(fā)包攻擊別人的方法(iis+linux)
最近很多美國VPS客戶被人通過dedecms漏洞等等入侵.導致phpddos 很猖狂，占用大量帶寬，影響網(wǎng)站，浪費流量2012-04-04
Ruby是一個開源的動態(tài)編程語言，本篇文章主要介紹了Ubuntu系統(tǒng)安裝Ruby的三種方法，有興趣的可以了解一下。2016-11-11
大家在使用Linux的虛擬主機時候有沒有出現(xiàn)過通過FTP無法刪除網(wǎng)站路徑中的一些文件夾和文件,FTP工具軟件會提示Permission Denied(沒有權限)，或者 550刪除目錄操作失敗2016-08-08