Ruby中的類Google Map/Reduce框架Skynet介紹
Skynet是一個很響亮的名字，因為它是阿諾施瓦辛格主演的經(jīng)典系列電影《終結(jié)者》里面的統(tǒng)治人類的超級計算機(jī)網(wǎng)絡(luò)。不過本文的Skynet沒這么恐怖，它是一個ruby版本的Google Map/Reduce框架的名字而已。
Google的Map/Reduce框架實在太有名氣了，他可以把一個任務(wù)切分為很多份，交給n臺計算機(jī)并行執(zhí)行，返回的結(jié)果再并行的歸并，最后得到運算的結(jié)果。據(jù)說Google一個搜索結(jié)果會Map到7000臺服務(wù)器并行執(zhí)行，這么多么可怕的分布式運算能力阿！有了Map/Reduce，程序員就可以在無需關(guān)注分布式框架的情況下，用簡單的代碼寫出來健壯、并行的分布式應(yīng)用程序，并且可以充分發(fā)揮計算機(jī)群集運算的能力。
如今能夠?qū)崿F(xiàn)Map/Reduce算法的框架已經(jīng)有好幾個了，其中最有名氣的可能就是Yahoo發(fā)起的開源項目Hadoop，不過Hadoop并不是用ruby編寫的，但在ruby的世界，Adam Pisoni已經(jīng)開發(fā)出來了ruby版本的Map/Reduce框架，這就是Skynet。
Adam Pisoni開發(fā)Skynet的初衷是因為Adam Pisoni的公司Geni.com是一家定位于家族SNS的互聯(lián)網(wǎng)網(wǎng)站。網(wǎng)站提供的新聞推送功能要求能夠從大量的用戶產(chǎn)生的信息當(dāng)中提取特定用戶感興趣的內(nèi)容，推送給用戶。這實際上是一個分布式運算模型，要能夠把任務(wù)分布到多臺服務(wù)器上面執(zhí)行，最后把任務(wù)歸并回來。Adam Pisoni沒有找到合適的框架，最終自己開發(fā)了Skynet，運用Map/Reduce算法來提供這個分布式運算平臺。
用Skynet開發(fā)Map/Reduce的分布式應(yīng)用程序非常簡單，讓我們舉一個簡單的例子看看吧：假設(shè)有一個1GB的文本文件，我們的任務(wù)是要統(tǒng)計該文件當(dāng)中每個單詞出現(xiàn)的次數(shù)統(tǒng)計。傳統(tǒng)的做法當(dāng)然很簡單，順序讀入文件內(nèi)容，進(jìn)行單詞統(tǒng)計就行了，但是毫無疑問，執(zhí)行速度會很慢。如果我們有一個1000臺服務(wù)器的運算群集，我們可以如何利用Skeynet來并發(fā)執(zhí)行這個程序，從而縮短統(tǒng)計時間呢？
Map/Reduce算法的過程是：
1、Partition(劃分?jǐn)?shù)據(jù))
把數(shù)據(jù)劃分為1000份，這個過程由Skynet自動完成
2、Map
除了劃分?jǐn)?shù)據(jù)，還需要把運算該數(shù)據(jù)的代碼也Map到每個運算節(jié)點上面去并發(fā)執(zhí)行。這1000個節(jié)點各自執(zhí)行自己的任務(wù)，執(zhí)行完畢以后把執(zhí)行結(jié)果返回
3、Partition
這1000分執(zhí)行結(jié)果需要歸并，于是我們再次劃分?jǐn)?shù)據(jù)，比方說劃分為10份，這個過程也是Skynet自動完成的
4、Reduce
把Reduce代碼和Reduce數(shù)據(jù)分發(fā)到10個節(jié)點執(zhí)行，每個節(jié)點執(zhí)行完畢返回數(shù)據(jù)。如果需要再次Reduce可以再次執(zhí)行。最終Reduce為一個總共的結(jié)果。
其實Map/Reduce算法的原理是很簡單的，好了，看看Skynet下面，我們怎么實現(xiàn)呢？其實我們需要編寫的代碼只有兩個方法：一個map方法，告訴skynet如何執(zhí)行每份數(shù)據(jù)，一個reduce方法，告訴skynet如何歸并每份數(shù)據(jù)，所以這個并行算法最終用Skynet來寫的話，也非常簡單：
class MapreduceTest
include SkynetDebugger
def self.map(datas)
results = {}
datas.each do |data|
results[data] ||= 0
results[data] += 1
end
[results]
end
def self.reduce(datas)
results = {}
datas.each do |hashes|
hashes.each do |key,value|
results[key] ||= 0
results[key] += value
end
end
results
end
end
這個就是一個最簡單、但是完整ruby版本的Map/Reduce代碼了。我們需要編寫一個map方法，告訴skynet去統(tǒng)計每個單詞的出現(xiàn)次數(shù)，我們還需要編寫一個reduce方法告訴skynet去歸并每個map的統(tǒng)計結(jié)果。好了，剩下所有的工作都?xì)wSkeynet接管了，是不是很簡單！
當(dāng)然要讓這個Map/Reduce跑起來我們還需要做一些工作，比方說安裝skynet，配置skynet的并行節(jié)點等等，這些瑣碎的工作可以看看skynet自己的文檔：http://skynet.rubyforge.org/doc/index.html，就不詳述了。
值得一提的是Skynet可以和Rails框架良好的整合起來工作，你可以把Rails當(dāng)中一些非常耗時、可以Map/Reduce的工作丟給Skynet去異步后臺執(zhí)行，比方說：
MyModel.distributed_find(:all, :conditions => “created_on < '#{3.days.ago}'”).each(:some_method)
把最近3天以來所有的model查詢處理以后要執(zhí)行的耗時操作some_method交給Skynet，讓Skynet動用他強(qiáng)大的運算網(wǎng)絡(luò)去執(zhí)行。
還可以異步執(zhí)行：
model_object.send_later(:method, options, :save)
把耗時的任務(wù)交給Skynet去異步執(zhí)行。
對于擁有強(qiáng)大運算網(wǎng)絡(luò)、并且需要進(jìn)行大量耗時運算的web2.0網(wǎng)站來說，Skynet真是一個很棒的工具，他可以讓程序員很簡單的編寫處理健壯而高效的分布式應(yīng)用程序！
相關(guān)文章
這篇文章主要介紹了在Ruby中處理日期和時間的教程,包括時間的格式化等基本用法,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了Ruby下WebDriver的相關(guān)操作指南,同時也介紹了啟動firefox drive加載firebug擴(kuò)展的方法,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Ruby中的類對象的概念,是Ruby學(xué)習(xí)當(dāng)中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05
本文主要介紹了Ruby中case表達(dá)式的兩種形式以及分析，有需要的朋友可以參考下2014-10-10
這篇文章主要介紹了ruby安裝gem包失敗的通用解決方法,需要的朋友可以參考下2014-05-05
這篇文章主要介紹了Ruby迭代器的7種技巧分享,Ruby中的迭代器非常人性化,本文既是講解了7個技巧也是講解了7種迭代器,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了rails常用數(shù)據(jù)庫查詢操作、方法淺析,總結(jié)的比較全,WEB開發(fā)種常用的數(shù)據(jù)庫操作都列出了rails對應(yīng)代碼,需要的朋友可以參考下2014-06-06
Ruby、PHP、Shell實現(xiàn)求50以內(nèi)的素數(shù)
這篇文章主要介紹了Ruby、PHP、Shell實現(xiàn)求50以內(nèi)的素數(shù),3種語言的實現(xiàn)方法中Shell最簡單,PHP最麻煩,Ruby最簡潔,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了Ruby中的迭代器詳解,本文講解了字符串、數(shù)字、數(shù)組、Map、文件、目錄等情況下使用迭代器的例子,需要的朋友可以參考下2014-09-09
Ruby基礎(chǔ)知識之?dāng)?shù)據(jù)類型
這篇文章主要介紹了Ruby基礎(chǔ)知識之?dāng)?shù)據(jù)類型,本文講解了數(shù)值類型、字符串類型、字符類型、哈希類型、范圍類型、對象標(biāo)識、對象的類、類型等內(nèi)容,需要的朋友可以參考下2015-04-04