一提到大數(shù)據(jù)，人們就會(huì)想到Hadoop，然而，最近又有個(gè)Spark似乎成了后起之秀，也變得很火，似乎比Hadoop更具優(yōu)勢(shì)，更有前景，那么，想要學(xué)習(xí)大數(shù)據(jù)的學(xué)員就要問了，在大數(shù)據(jù)學(xué)習(xí)中Hadoop和Spark哪個(gè)更好就業(yè)？

其實(shí)正如學(xué)員們所了解的那樣，Spark的確是大數(shù)據(jù)行業(yè)中的后起之秀，與Hadoop相比，Spark有很多的優(yōu)勢(shì)。Hadoop之所以在大數(shù)據(jù)行業(yè)能夠得到充分的認(rèn)同主要是因?yàn)椋?/p>

• ·Hadoop解決了大數(shù)據(jù)的可靠存儲(chǔ)和處理問題；
• ·Hadoop的開源性，這能讓很多大數(shù)據(jù)從業(yè)人員在里面找到靈感，方便實(shí)用；
• ·Hadoop經(jīng)過了多年的開發(fā)，擁有完整的生態(tài)系統(tǒng)。
• ·HDFS在由普通PC組成的集群上提供高可靠的文件存儲(chǔ)，通過將塊保存多個(gè)副本的辦法解決服務(wù)器或硬板壞掉的問題。
• ·MapReduce通過簡(jiǎn)單的Mapper和Reducer的抽象提供一個(gè)變成模型，可以在一個(gè)由幾十臺(tái)至上百臺(tái)的PC組成的不可靠集群上并發(fā)地，分布式地處理大量的數(shù)據(jù)集，而把并發(fā)、分布式和故障恢復(fù)等計(jì)算細(xì)節(jié)隱藏起來。

Hadoop也有許多局限和不足，籠統(tǒng)的講，在數(shù)據(jù)量不斷擴(kuò)大的情況下，Hadoop的運(yùn)算速度會(huì)越發(fā)顯得吃力。雖然現(xiàn)階段，Hadoop在大數(shù)據(jù)行業(yè)內(nèi)仍然有很高頻率的應(yīng)用，但不難想象在若干年后，數(shù)據(jù)量又上升幾個(gè)數(shù)量級(jí)時(shí)，Hadoop所面臨的窘境。而Spark的運(yùn)算速度是Hadoop的百分之一甚至更快，因此，在未來，Spark必然會(huì)取代Hadoop，主宰大數(shù)據(jù)行業(yè)。

那是不是就可以跳過Hadoop，只學(xué)Spark呢？當(dāng)然不是，有以下原因：

• ·現(xiàn)階段，Hadoop仍然主導(dǎo)著大數(shù)據(jù)領(lǐng)域，我們可以學(xué)習(xí)先進(jìn)的技術(shù)，但更是為了現(xiàn)階段的就業(yè)，就目前階段而言，學(xué)大數(shù)據(jù)必學(xué)Hadoop。
• ·MapReduce中有許多經(jīng)典的思想，值得我們學(xué)習(xí)，這對(duì)我們理解大數(shù)據(jù)十分有幫助。
• ·確切的講，Spark要替換的是Hadoop中的MapReduce，而不是Hadoop，Hadoop是一個(gè)工具包，而Spark和MapReduce一樣，只是一種工具而已。

因此，不論在大數(shù)據(jù)學(xué)習(xí)中Hadoop和Spark哪個(gè)更好就業(yè)，我們都應(yīng)該按部就班地學(xué)習(xí)Hadoop，再根據(jù)自己的掌握情況學(xué)習(xí)Spark。

最新評(píng)論