欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Hadoop 2.x與3.x 22點比較,Hadoop 3.x比2.x的改進

 更新時間:2018年09月18日 10:34:33   作者:about云  
本文介紹了Hadoop3版本中添加的新功能,Hadoop 2和Hadoop 3的區(qū)別,在這篇文章中,我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。感興趣的朋友跟隨小編一起看一下

問題導讀
1.Hadoop3.x通過什么方式來容錯?
2.Hadoop3.x存儲開銷減少了多少?
3.Hadoop3.x MR API是否兼容hadoop1.x?

一、目的

在這篇文章中,我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么區(qū)別?

二、Hadoop 2.x與Hadoop 3.x比較

本節(jié)將講述Hadoop 2.x與Hadoop 3.x之間的22個差異。 現在讓我們逐一討論

2.1License

Hadoop 2.x - Apache 2.0,開源
Hadoop 3.x - Apache 2.0,開源

2.2支持的最低Java版本

Hadoop 2.x - java的最低支持版本是java 7
Hadoop 3.x - java的最低支持版本是java 8

2.3容錯

Hadoop 2.x - 可以通過復制(浪費空間)來處理容錯。
Hadoop 3.x - 可以通過Erasure編碼處理容錯。

2.4數據平衡

Hadoop 2.x - 對于數據平衡使用HDFS平衡器。
Hadoop 3.x - 對于數據平衡使用Intra-data節(jié)點平衡器,該平衡器通過HDFS磁盤平衡器CLI調用。

2.5存儲Scheme

Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支持HDFS中的擦除編碼。

2.6存儲開銷

Hadoop 2.x - HDFS在存儲空間中有200%的開銷。
Hadoop 3.x - 存儲開銷僅為50%。

2.7存儲開銷示例

Hadoop 2.x - 如果有6個塊,那么由于副本方案(Scheme),將有18個塊占用空間。
Hadoop 3.x - 如果有6個塊,那么空間9個塊,中6塊空間,3塊用于奇偶校驗。

2.8YARN時間線服務

Hadoop 2.x - 使用具有可伸縮性問題的舊時間軸服務。
Hadoop 3.x - 改進時間線服務v2并提高時間線服務的可擴展性和可靠性。

2.9默認端口范圍

Hadoop 2.x - 在Hadoop 2.0中,一些默認端口是Linux臨時端口范圍。所以在啟動時,他們將無法綁定。
Hadoop 3.x - 但是在Hadoop 3.0中,這些端口已經移出了短暫的范圍。

2.10工具

Hadoop 2.x - 使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。

2.11兼容的文件系統(tǒng)

Hadoop 2.x - HDFS(默認FS),FTP文件系統(tǒng):它將所有數據存儲在可遠程訪問的FTP服務器上。 Amazon S3(簡單存儲服務)文件系統(tǒng)Windows Azure存儲Blob(WASB)文件系統(tǒng)。
Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系統(tǒng)。

2.12Datanode資源

Hadoop 2.x - Datanode資源不專用于MapReduce,我們可以將它用于其他應用程序。
Hadoop 3.x - 此處數據節(jié)點資源也可用于其他應用程序。

2.13MR API兼容性

Hadoop 2.x - 與Hadoop 1.x程序兼容的MR API,可在Hadoop 2.X上執(zhí)行
Hadoop 3.x - 此處,MR API與運行Hadoop 1.x程序兼容,以便在Hadoop 3.X上執(zhí)行

2.14支持Microsoft Windows

Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支持Windows。

2.15插槽/容器

Hadoop 2.x - Hadoop 1適用于插槽的概念,但Hadoop 2.X適用于容器的概念。通過容器,我們可以運行通用任務。
Hadoop 3.x - 它也適用于容器的概念。

2.16單點故障

Hadoop 2.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復。
Hadoop 3.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復,無需人工干預就可以克服它。

2.17HDFS聯(lián)盟

Hadoop 2.x - 在Hadoop 1.0中,只有一個NameNode來管理所有Namespace,但在Hadoop 2.0中,多個NameNode用于多個Namespace。
Hadoop 3.x - Hadoop 3.x還有多個名稱空間用于多個名稱空間。

2.18可擴展性

Hadoop 2.x - 我們可以擴展到每個群集10,000個節(jié)點。
Hadoop 3.x - 更好的可擴展性。 我們可以為每個群集擴展超過10,000個節(jié)點。

2.19更快地訪問數據

Hadoop 2.x - 由于數據節(jié)點緩存,我們可以快速訪問數據。
Hadoop 3.x - 這里也通過Datanode緩存我們可以快速訪問數據。

2.20HDFS快照

Hadoop 2.x - Hadoop 2增加了對快照的支持。 它為用戶錯誤提供災難恢復和保護。
Hadoop 3.x - Hadoop 2也支持快照功能。

2.21平臺

Hadoop 2.x - 可以作為各種數據分析的平臺,可以運行事件處理,流媒體和實時操作。
Hadoop 3.x - 這里也可以在YARN的頂部運行事件處理,流媒體和實時操作。

2.22群集資源管理

Hadoop 2.x - 對于群集資源管理,它使用YARN。 它提高了可擴展性,高可用性,多租戶。
Hadoop 3.x - 對于集群,資源管理使用具有所有功能的YARN。

hadoop3.X比hadoop2.x的改進

Common主要改進:
    Shell script rewrite
     過時API刪除

HDFS改進:
    支持erasure編碼
    支持超過兩個namenode
    數據均衡
    多個服務端口發(fā)生變化

Yarn改進:
 YARN Timeline Service v.2
 Support for Opportunistic Containers and Distributed Scheduling

MapRduece改進:
    MapReduce task-level native optimization
    Reworked daemon and task heap management

其他新特性:
 Shared client jars

三、結論

正如我們已經討論了Hadoop 2.x與Hadoop 3.x之間的22個重要差異和3.x的改進,現在我們可以看到Hadoop 2和Hadoop 3哪個更好。

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接

相關文章

  • 詳解kubelet?創(chuàng)建pod流程代碼圖解及日志說明

    詳解kubelet?創(chuàng)建pod流程代碼圖解及日志說明

    這篇文章主要為大家介紹了詳解kubelet?創(chuàng)建pod流程代碼圖解及日志說明,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-09-09
  • 云原生技術kubernetes之volumes容器的使用

    云原生技術kubernetes之volumes容器的使用

    這篇文章主要為大家介紹了云原生技術kubernetes之volumes容器使用方式,?有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-03-03
  • 帶你學會k8s?更高級的對象Deployment

    帶你學會k8s?更高級的對象Deployment

    這篇文章主要為大家介紹了k8s還有更高級的"對象"Deployment使用示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-04-04
  • Rainbond對前端項目Vue及React的持續(xù)部署

    Rainbond對前端項目Vue及React的持續(xù)部署

    這篇文章主要為大家介紹了Rainbond對前端項目Vue及React的持續(xù)部署,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-04-04
  • 安裝ingress-nginx遇到的一些坑實戰(zhàn)記錄

    安裝ingress-nginx遇到的一些坑實戰(zhàn)記錄

    ingress是kubernetes集群對外暴露服務的一種方式,下面這篇文章主要給大家介紹了關于安裝ingress-nginx遇到的一些坑,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-09-09
  • tkestack/gpu-manager在k8s1.23版本之后的使用方法

    tkestack/gpu-manager在k8s1.23版本之后的使用方法

    這篇文章主要介紹了tkestack/gpu-manager在k8s1.23版本之后的使用,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-04-04
  • k8s 中的 service 如何找到綁定的 Pod 及實現 Pod 負載均衡的方法

    k8s 中的 service 如何找到綁定的 Pod 及實現 

    service 是一組具有相同 label pod 集合的抽象,集群內外的各個服務可以通過 service 進行互相通信,這篇文章主要介紹了k8s 中的 service 如何找到綁定的 Pod 以及如何實現 Pod 負載均衡,需要的朋友可以參考下
    2022-10-10
  • Linux安裝Kubernetes(k8s)超詳細教程

    Linux安裝Kubernetes(k8s)超詳細教程

    Kubernetes是一個輕便的和可擴展的開源平臺,用于管理容器化應用和服務,通過Kubernetes能夠進行應用的自動化部署和擴縮容,這篇文章主要給大家介紹了關于Linux安裝Kubernetes(k8s)的相關資料,需要的朋友可以參考下
    2024-07-07
  • Kubekey安裝Kubernetes-1.24.8的詳細過程

    Kubekey安裝Kubernetes-1.24.8的詳細過程

    這篇文章主要介紹了Kubekey安裝Kubernetes-1.24.8的詳細過程,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-05-05
  • k8s多節(jié)點master部署過程

    k8s多節(jié)點master部署過程

    這篇文章主要介紹了k8s多節(jié)點master部署過程,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-07-07

最新評論