cluster模塊概覽

node實(shí)例是單線程作業(yè)的。在服務(wù)端編程中，通常會(huì)創(chuàng)建多個(gè)node實(shí)例來(lái)處理客戶端的請(qǐng)求，以此提升系統(tǒng)的吞吐率。對(duì)這樣多個(gè)node實(shí)例，我們稱之為cluster（集群）。

借助node的cluster模塊，開發(fā)者可以在幾乎不修改原有項(xiàng)目代碼的前提下，獲得集群服務(wù)帶來(lái)的好處。

集群有以下兩種常見的實(shí)現(xiàn)方案，而node自帶的cluster模塊，采用了方案二。

方案一：多個(gè)node實(shí)例+多個(gè)端口

集群內(nèi)的node實(shí)例，各自監(jiān)聽不同的端口，再由反向代理實(shí)現(xiàn)請(qǐng)求到多個(gè)端口的分發(fā)。

1. 優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，各實(shí)例相對(duì)獨(dú)立，這對(duì)服務(wù)穩(wěn)定性有好處。
2. 缺點(diǎn)：增加端口占用，進(jìn)程之間通信比較麻煩。

方案二：主進(jìn)程向子進(jìn)程轉(zhuǎn)發(fā)請(qǐng)求

集群內(nèi)，創(chuàng)建一個(gè)主進(jìn)程(master)，以及若干個(gè)子進(jìn)程(worker)。由master監(jiān)聽客戶端連接請(qǐng)求，并根據(jù)特定的策略，轉(zhuǎn)發(fā)給worker。

1. 優(yōu)點(diǎn)：通常只占用一個(gè)端口，通信相對(duì)簡(jiǎn)單，轉(zhuǎn)發(fā)策略更靈活。
2. 缺點(diǎn)：實(shí)現(xiàn)相對(duì)復(fù)雜，對(duì)主進(jìn)程的穩(wěn)定性要求較高。

入門實(shí)例

在cluster模塊中，主進(jìn)程稱為master，子進(jìn)程稱為worker。

例子如下，創(chuàng)建與CPU數(shù)目相同的服務(wù)端實(shí)例，來(lái)處理客戶端請(qǐng)求。注意，它們監(jiān)聽的都是同樣的端口。

// server.js
var cluster = require('cluster');
var cpuNums = require('os').cpus().length;
var http = require('http');

if(cluster.isMaster){
 for(var i = 0; i < cpuNums; i++){
  cluster.fork();
 }
}else{
 http.createServer(function(req, res){
  res.end(`response from worker ${process.pid}`);
 }).listen(3000);

 console.log(`Worker ${process.pid} started`);
}

創(chuàng)建批處理腳本：./req.sh。

#!/bin/bash

# req.sh
for((i=1;i<=4;i++)); do  
 curl http://127.0.0.1:3000
 echo ""
done 

輸出如下?？梢钥吹?，響應(yīng)來(lái)自不同的進(jìn)程。

response from worker 23735
response from worker 23731
response from worker 23729
response from worker 23730

cluster模塊實(shí)現(xiàn)原理

了解cluster模塊，主要搞清楚3個(gè)問(wèn)題：

1. master、worker如何通信？
2. 多個(gè)server實(shí)例，如何實(shí)現(xiàn)端口共享？
3. 多個(gè)server實(shí)例，來(lái)自客戶端的請(qǐng)求如何分發(fā)到多個(gè)worker？

下面會(huì)結(jié)合示意圖進(jìn)行介紹，源碼級(jí)別的介紹，可以參考 筆者的github。

問(wèn)題1：master、worker如何通信

這個(gè)問(wèn)題比較簡(jiǎn)單。master進(jìn)程通過(guò) cluster.fork() 來(lái)創(chuàng)建 worker進(jìn)程。cluster.fork() 內(nèi)部 是通過(guò) child_process.fork() 來(lái)創(chuàng)建子進(jìn)程。

也就是說(shuō)：

1. master進(jìn)程、worker進(jìn)程是父、子進(jìn)程的關(guān)系。
2. master進(jìn)程、woker進(jìn)程可以通過(guò)IPC通道進(jìn)行通信。（重要）

問(wèn)題2：如何實(shí)現(xiàn)端口共享

在前面的例子中，多個(gè)woker中創(chuàng)建的server監(jiān)聽了同個(gè)端口3000。通常來(lái)說(shuō)，多個(gè)進(jìn)程監(jiān)聽同個(gè)端口，系統(tǒng)會(huì)報(bào)錯(cuò)。

為什么我們的例子沒(méi)問(wèn)題呢？

秘密在于，net模塊中，對(duì) listen() 方法進(jìn)行了特殊處理。根據(jù)當(dāng)前進(jìn)程是master進(jìn)程，還是worker進(jìn)程：

1. master進(jìn)程：在該端口上正常監(jiān)聽請(qǐng)求。（沒(méi)做特殊處理）
2. worker進(jìn)程：創(chuàng)建server實(shí)例。然后通過(guò)IPC通道，向master進(jìn)程發(fā)送消息，讓master進(jìn)程也創(chuàng)建 server 實(shí)例，并在該端口上監(jiān)聽請(qǐng)求。當(dāng)請(qǐng)求進(jìn)來(lái)時(shí)，master進(jìn)程將請(qǐng)求轉(zhuǎn)發(fā)給worker進(jìn)程的server實(shí)例。

歸納起來(lái)，就是：master進(jìn)程監(jiān)聽特定端口，并將客戶請(qǐng)求轉(zhuǎn)發(fā)給worker進(jìn)程。

如下圖所示：

問(wèn)題3：如何將請(qǐng)求分發(fā)到多個(gè)worker

每當(dāng)worker進(jìn)程創(chuàng)建server實(shí)例來(lái)監(jiān)聽請(qǐng)求，都會(huì)通過(guò)IPC通道，在master上進(jìn)行注冊(cè)。當(dāng)客戶端請(qǐng)求到達(dá)，master會(huì)負(fù)責(zé)將請(qǐng)求轉(zhuǎn)發(fā)給對(duì)應(yīng)的worker。

具體轉(zhuǎn)發(fā)給哪個(gè)worker？這是由轉(zhuǎn)發(fā)策略決定的?？梢酝ㄟ^(guò)環(huán)境變量NODE_CLUSTER_SCHED_POLICY設(shè)置，也可以在cluster.setupMaster(options)時(shí)傳入。

默認(rèn)的轉(zhuǎn)發(fā)策略是輪詢（SCHED_RR）。

當(dāng)有客戶請(qǐng)求到達(dá)，master會(huì)輪詢一遍worker列表，找到第一個(gè)空閑的worker，然后將該請(qǐng)求轉(zhuǎn)發(fā)給該worker。

master、worker內(nèi)部通信小技巧

在開發(fā)過(guò)程中，我們會(huì)通過(guò) process.on('message', fn) 來(lái)實(shí)現(xiàn)進(jìn)程間通信。

前面提到，master進(jìn)程、worker進(jìn)程在server實(shí)例的創(chuàng)建過(guò)程中，也是通過(guò)IPC通道進(jìn)行通信的。那會(huì)不會(huì)對(duì)我們的開發(fā)造成干擾呢？比如，收到一堆其實(shí)并不需要關(guān)心的消息？

答案肯定是不會(huì)？那么是怎么做到的呢？

當(dāng)發(fā)送的消息包含cmd字段，且改字段以NODE_作為前綴，則該消息會(huì)被視為內(nèi)部保留的消息，不會(huì)通過(guò)message事件拋出，但可以通過(guò)監(jiān)聽'internalMessage'捕獲。

以worker進(jìn)程通知master進(jìn)程創(chuàng)建server實(shí)例為例子。worker偽代碼如下：

// woker進(jìn)程
const message = {
 cmd: 'NODE_CLUSTER',
 act: 'queryServer'
};
process.send(message);

master偽代碼如下：

worker.process.on('internalMessage', fn);

相關(guān)鏈接

官方文檔：https://nodejs.org/api/cluster.html

Node學(xué)習(xí)筆記：https://github.com/chyingp/nodejs-learning-guide

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論