由于最近在進(jìn)行一些論文的模擬，所以嘗試了兩種并行的方法：parallel與snowfall，這兩種方法各有優(yōu)缺，但還是推薦snowfall，整體較為穩(wěn)定，不容易因?yàn)閮?nèi)存不足或者并行線程過多等原因而報錯。

并行計(jì)算

并行計(jì)算： 簡單來講，就是同時使用多個計(jì)算資源來解決一個計(jì)算問題，是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段。（參考：并行計(jì)算簡介）

• 一個問題被分解成為一系列可以并發(fā)執(zhí)行的離散部分；
• 每個部分可以進(jìn)一步被分解成為一系列離散指令；
• 來自每個部分的指令可以在不同的處理器上被同時執(zhí)行；
• 需要一個總體的控制/協(xié)作機(jī)制來負(fù)責(zé)對不同部分的執(zhí)行情況進(jìn)行調(diào)度。

而在我們平時的模擬中，在一臺電腦或者服務(wù)器上，就是將我們的計(jì)算任務(wù)分散到多個不同的小的核中同時進(jìn)行處理。

在模擬時什么地方可以用到并行？

并行操作一般適用于重復(fù)的操作，比如重復(fù)隨機(jī)按照相同分布生成數(shù)據(jù)，然后分別同時進(jìn)行模擬。這里就可以用并行。亦或者我們要做permutation計(jì)算p-value等信息，也可以進(jìn)行并行，因?yàn)檫@種操作是簡單的重復(fù)即可完成。

但諸如迭代，遞歸等算法就很難用并行實(shí)現(xiàn)，這種都叫串行。因?yàn)楹笠粋€的對象需要前一個對象的信息，只能先算完前一個，再計(jì)算后一個內(nèi)容。

在進(jìn)行實(shí)際的模擬比較多種方法的優(yōu)劣時，通常需要重復(fù)實(shí)驗(yàn)成百上千次，一般可對這里進(jìn)行并行操作，寫在這里的操作是最簡單的。但會有個缺點(diǎn)：可能會出現(xiàn)掛服務(wù)器跑了半天還沒出現(xiàn)結(jié)果，但是自己又并不知道運(yùn)行到哪了的現(xiàn)象。雖然有一些方法可以進(jìn)行查看（例如snowfall中的sfCat()函數(shù)，但是輸出的結(jié)果是相對來說比較凌亂的，而且有時還會輸出不了，具體用法后面會進(jìn)行介紹），但是還是可能等很久才出一些結(jié)果，如果并行某一個地方維度或者代碼有些小瑕疵，整段結(jié)果都沒法進(jìn)行輸出。

所以建議，如果能將并行寫到每個算法中間的話，就盡量寫到每個具體算法之中（如需要permutation的寫到permutation中；如要多次for循環(huán)計(jì)算統(tǒng)計(jì)量以及其它信息的，直接替代for循環(huán)），這樣后面實(shí)際操作時也比較方便。（這樣做的缺點(diǎn)是可能導(dǎo)致內(nèi)存占用過多，從而使并行出錯）

怎么在R中看我們可以使用并行？

只需使用如下命令，就可以查看我們電腦能夠使用的線程數(shù)：

detectCores()

理論上這個值 ≥2，我們電腦就可以進(jìn)行并行操作（現(xiàn)在的電腦基本都是4往上的）。當(dāng)然通常我們不會使用所有的線程來進(jìn)行并行，不然。。。電腦很可能會崩。

言歸正傳，下面介紹兩種R中常用的并行操作（默認(rèn)會apply族相關(guān)操作）。

parallel（簡單）

一個是parallel包，此包最大的優(yōu)勢就是非常的便捷，只需將我們原本的apply()修改為parApply()；lapply()修改為parLapply()；sapply()修改為我們常用的parSapply()等等，然后再在開頭和結(jié)尾添加上相應(yīng)的開始并行與結(jié)束并行的語句即可。

下面舉個栗子（參考：How-to go parallel in R – basics + tips）

首先我們使用lapply()進(jìn)行下述操作向量化操作：

lapply(1:3, function(x) c(x, x ^ 2, x ^ 3))

輸出結(jié)果為：

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

我們將其修改為并行方法，首先是初始化我們的并行：

library(parallel) # 載入parallel包

# 計(jì)算可用線程數(shù)，并設(shè)置并行使用線程數(shù)
no_cores <- detectCores() - 1

# 初始化
cl <- makeCluster(no_cores)

然后修改原本我們lapply()的命令：

parLapply(cl, 1:3, function(x) c(x, x ^ 2, x ^ 3))

注意：這里與一般的lapply()相比，要加上cl。

輸出結(jié)果為：

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

到這里我們還沒完，前面初始化我們的并行，這里需要結(jié)束我們的并行，釋放我們用到的線程與內(nèi)存，返還給系統(tǒng)。具體使用如下語句：

stopCluster(cl)

至此，一個簡單的并行就完成了。

但事情遠(yuǎn)遠(yuǎn)沒這么簡單，在我們需要處理非常復(fù)雜的并行任務(wù)，反復(fù)使用parallel庫中的并行方法時，我們沒辦法將我們的線程數(shù)開到最大，有時候甚至連一半都不行，它會出現(xiàn)下面所示的報錯：

Error in unserialize(node$con) : error reading from connection

這種情況出現(xiàn)的原因就很復(fù)雜了，這是因?yàn)椤罢{(diào)用核心數(shù)–計(jì)算機(jī)內(nèi)存”的不匹配造成的。如果你的數(shù)據(jù)集很大，調(diào)用了很多核心，那么你的計(jì)算機(jī)內(nèi)存如果不夠匹配，就會出現(xiàn)連接不上的不錯，甚至還出現(xiàn)卡機(jī)等現(xiàn)象。簡言之就是爆內(nèi)存了。

解決方法（不能說完全解決，只能說能有效緩解）：

使用更少的線程進(jìn)行并行；

如果你的電腦內(nèi)存非常小，有一個簡單的方法確定你的最大使用線程：

max cores = memory.limit() / memory.size()；

將大量的并行分小部分進(jìn)行；在代碼中多使用rm()刪除沒用的變量，使用gc()回收內(nèi)存空間；

不過后面我們介紹另一種并行方式snowfall相對而言就更加穩(wěn)定了（雖然代碼寫起來會相對復(fù)雜一些），這個我們留待下一篇博客：R中兩種常用并行方法snowfall 中進(jìn)行詳細(xì)介紹。

以上就是R語言常用兩種并行方法之parallel詳解的詳細(xì)內(nèi)容，更多關(guān)于R語言并行方法parallel的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論