C++中IO多路復(fù)用(select、poll、epoll)的實(shí)現(xiàn)
什么是IO多路復(fù)用
I/O多路復(fù)用(IO multiplexing)是一種并發(fā)處理多個(gè)I/O操作的機(jī)制。它允許一個(gè)進(jìn)程或線程同時(shí)監(jiān)聽多個(gè)文件描述符(如套接字、管道、標(biāo)準(zhǔn)輸入等)的I/O事件,并在有事件發(fā)生時(shí)進(jìn)行處理。
傳統(tǒng)的I/O模型中,通常使用阻塞I/O和非阻塞I/O來處理單個(gè)I/O操作。如果需要同時(shí)處理多個(gè)I/O操作,那么需要使用多個(gè)線程或多個(gè)進(jìn)程來管理和執(zhí)行這些I/O操作。這種方式會(huì)導(dǎo)致系統(tǒng)資源的浪費(fèi),且編程復(fù)雜度較高。
而I/O多路復(fù)用通過提供一個(gè)統(tǒng)一的接口,如select
、poll
、epoll
等,來同時(shí)監(jiān)聽多個(gè)文件描述符的I/O事件。它們會(huì)在任意一個(gè)文件描述符上有I/O事件發(fā)生時(shí)立即返回,并告知應(yīng)用程序哪些文件描述符有事件發(fā)生。應(yīng)用程序可以根據(jù)返回的結(jié)果來針對有事件發(fā)生的文件描述符進(jìn)行讀取、寫入或其他操作。
I/O多路復(fù)用的優(yōu)點(diǎn)包括:
- 單個(gè)進(jìn)程或線程可以同時(shí)處理多個(gè)I/O操作,提高了系統(tǒng)的并發(fā)性。
- 避免了大量的進(jìn)程或線程切換,節(jié)約了系統(tǒng)資源
- 使用較少的線程或進(jìn)程,簡化了編程模型和維護(hù)工作。
IO多路復(fù)用的方式簡介
主要的 I/O 多路復(fù)用方式有以下幾種:
select
:select
是最早的一種 I/O 多路復(fù)用方式,可以同時(shí)監(jiān)聽多個(gè)文件描述符的可讀、可寫和異常事件。通過在調(diào)用select
時(shí)傳遞關(guān)注的文件描述符集合,及時(shí)返回有事件發(fā)生的文件描述符,然后應(yīng)用程序可以對這些文件描述符進(jìn)行讀寫操作。poll
:poll
是select
的一種改進(jìn)版,也能夠同時(shí)監(jiān)聽多個(gè)文件描述符的可讀、可寫和異常事件。通過調(diào)用poll
時(shí)傳遞關(guān)注的文件描述符數(shù)組,返回有事件發(fā)生的文件描述符,應(yīng)用程序執(zhí)行對應(yīng)的讀寫操作。epoll
:epoll
是 Linux 特有的一種 I/O 多路復(fù)用機(jī)制,相較于select
和poll
具有更高的性能,適用于高并發(fā)環(huán)境。epoll
使用了回調(diào)機(jī)制來通知應(yīng)用程序文件描述符上的事件發(fā)生,并且支持水平觸發(fā)(LT,level triggered)和邊緣觸發(fā)(ET,edge triggered)兩種模式。
select方式
select
是一種 I/O 多路復(fù)用的機(jī)制,用于同時(shí)監(jiān)聽多個(gè)文件描述符的可讀、可寫和異常事件。它是最早的一種實(shí)現(xiàn),適用于多平臺(tái)。select幾乎在所有的操作系統(tǒng)上都可用,并且擁有相似的接口和語義。這使得應(yīng)用程序在多個(gè)平臺(tái)上能夠以相似的方式使用 select
。
select運(yùn)行原理
select
函數(shù)在阻塞過程中,主要依賴于一個(gè)名為 fd_set
的數(shù)據(jù)結(jié)構(gòu)來表示文件描述符集合。通過向 select
函數(shù)傳遞待檢測的 fd_set
集合,可以指定需要檢測哪些文件描述符。fd_set
結(jié)構(gòu)一般是通過使用宏函數(shù)以及相關(guān)操作進(jìn)行初始化和處理。
fd_set
結(jié)構(gòu)可以用于傳遞三種不同類型的文件描述符集合,包括讀緩沖區(qū)、寫緩沖區(qū)和異常狀態(tài)。通過將文件描述符放入相應(yīng)的集合中,程序員可以選擇性地檢查特定類型的事件或操作。通過使用傳出變量,程序員可以獲取與就緒狀態(tài)對應(yīng)的文件描述符集合,并相應(yīng)地處理與就緒內(nèi)容相關(guān)的操作。
下面兩張圖展示了select函數(shù)在運(yùn)行時(shí)的邏輯(讀緩沖區(qū)為例)
select函數(shù)使用方法
select函數(shù)原型如下:
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
nfds
:需要監(jiān)視的最大文件描述符加1,即待監(jiān)視的文件描述符的最大值加1。readfds
:可讀性檢查的文件描述符集合。writefds
:可寫性檢查的文件描述符集合。exceptfds
:異常條件的文件描述符集合。timeout
:最長等待時(shí)間,也可以設(shè)置為 NULL,表示一直阻塞直到有事件發(fā)生。
函數(shù)返回值如下:
- 大于 0:返回值為有事件發(fā)生的文件描述符的總數(shù)。
- 0:表示超時(shí),沒有事件發(fā)生。
- -1:出錯(cuò),可以通過查看全局變量
errno
來獲取錯(cuò)誤碼。
一些值得注意的小細(xì)節(jié):
nfds
的值必須是所有待監(jiān)視文件描述符中最大的值加1。- 在某些平臺(tái)上,
select
的文件描述符集大小有可能有限制。 - 調(diào)用
select
會(huì)阻塞等待,直到有事件發(fā)生,這會(huì)導(dǎo)致效率問題。 - 在多個(gè)線程中使用
select
可能需要使用互斥鎖來保護(hù)傳遞的文件描述符集。
操作fd_set的API:
void FD_CLR(int fd, fd_set *set); int FD_ISSET(int fd, fd_set *set); void FD_SET(int fd, fd_set *set); void FD_ZERO(fd_set *set);
1. FD_ZERO(fd_set *set):清空指定的文件描述符集合 set,將其所有位都置為0。
2. FD_SET(int fd, fd_set *set):將指定的文件描述符 fd 添加到文件描述符集合 set 中,相應(yīng)的位將被置為1。
3. FD_CLR(int fd, fd_set *set):將指定的文件描述符 fd 從文件描述符集合 set 中移除,相應(yīng)的位將被清零(置為0)。
4. FD_ISSET(int fd, fd_set *set):檢查指定的文件描述符 fd 是否在文件描述符集合 set 中,如果存在,則返回非零值(true);否則,返回零值(false)。
實(shí)例
下面是一個(gè)利用select實(shí)現(xiàn)的客戶端與服務(wù)器端相互傳輸?shù)暮唵问纠?/p>
服務(wù)器端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> using namespace std; int main() // 基于多路復(fù)用select函數(shù)實(shí)現(xiàn)的并行服務(wù)器 { // 1 創(chuàng)建監(jiān)聽的fd int lfd = socket(AF_INET, SOCK_STREAM, 0); // 2 綁定 struct sockaddr_in addr; // struct sockaddr_in是用于表示IPv4地址的結(jié)構(gòu)體,它是基于struct sockaddr的擴(kuò)展。 addr.sin_family = AF_INET; addr.sin_port = htons(9997); addr.sin_addr.s_addr = INADDR_ANY; bind(lfd, (struct sockaddr *)&addr, sizeof(addr)); // 3 設(shè)置監(jiān)聽 listen(lfd, 128); // 將監(jiān)聽的fd的狀態(tài)交給內(nèi)核檢測 int maxfd = lfd; // 初始化檢測的讀集合 fd_set rdset; fd_set rdtemp; // 清零 FD_ZERO(&rdset); // 將監(jiān)聽的lfd設(shè)置到集合當(dāng)中 FD_SET(lfd, &rdset); // 通過select委托內(nèi)核檢測讀集合中的文件描述符狀態(tài), 檢測read緩沖區(qū)有沒有數(shù)據(jù) // 如果有數(shù)據(jù), select解除阻塞返回 while (1) { rdtemp = rdset; int num = select(maxfd + 1, &rdtemp, NULL, NULL, NULL); // 判斷連接請求還在不在里面,如果在,則運(yùn)行accept if (FD_ISSET(lfd, &rdtemp)) { struct sockaddr_in cliaddr; int cliaddrLen = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, (socklen_t *)&cliaddrLen); // 得到了有效的客戶端文件描述符,將這個(gè)文件描述符放入讀集合當(dāng)中,并更新最大值 FD_SET(cfd, &rdset); maxfd = cfd > maxfd ? cfd : maxfd; } // 如果沒有建立新的連接,那么就直接通信 for (int i = 0; i < maxfd + 1; i++) { if (i != lfd && FD_ISSET(i, &rdtemp)) { // 接收數(shù)據(jù),一次接收10個(gè)字節(jié),客戶端每次發(fā)送100個(gè)字節(jié),下一輪select檢測的時(shí)候, 內(nèi)核還會(huì)標(biāo)記這個(gè)文件描述符緩沖區(qū)有數(shù)據(jù) -> 再讀一次 // 循環(huán)會(huì)一直持續(xù), 知道緩沖區(qū)數(shù)據(jù)被讀完位置 char buf[10] = {0}; int len = read(i, buf, sizeof(buf)); cout << "len=" <<len<< endl; if (len == 0) // 客戶端關(guān)閉了連接,,因?yàn)槿绻米x完,會(huì)在select過程中刪除 { printf("客戶端關(guān)閉了連接.....\n"); // 將該文件描述符從集合中刪除 FD_CLR(i, &rdset); close(i); } else if (len > 0) // 收到了數(shù)據(jù) { // 發(fā)送數(shù)據(jù) if (len > 2) { write(i, buf, strlen(buf) + 1); cout << "寫了一次" << endl; sleep(0.1); } } else { // 異常 perror("read"); FD_CLR(i, &rdset); } } } } return 0; }
客戶端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> using namespace std; int main() //網(wǎng)絡(luò)通信的客戶端 { // 1 創(chuàng)建用于通信的套接字 int fd=socket(AF_INET,SOCK_STREAM,0); if(fd==-1) { perror("socket"); exit(0); } // 2 連接服務(wù)器 struct sockaddr_in addr; addr.sin_family=AF_INET; //ipv4 addr.sin_port=htons(9997);// 服務(wù)器監(jiān)聽的端口, 字節(jié)序應(yīng)該是網(wǎng)絡(luò)字節(jié)序 inet_pton(AF_INET,"127.0.0.1",&addr.sin_addr.s_addr); int ret=connect(fd,(struct sockaddr*)&addr,sizeof(addr)); if(ret==-1) { perror("connect"); exit(0); } //通信 while (1) { //讀數(shù)據(jù) char recvBuf[1024]; //寫數(shù)據(jù) fgets(recvBuf,sizeof(recvBuf),stdin); write(fd,recvBuf,strlen(recvBuf)+1); int oriLen=strlen(recvBuf)-1; cout<<"strlen(recvBuf)="<<oriLen<<endl; int total_get=0; while (read(fd,recvBuf,sizeof(recvBuf))) { total_get+=10; cout<<"total_get="<<total_get<<" strlen(recvBuf)="<<oriLen<<endl; printf("recv buf: %s\n", recvBuf); if (total_get>=oriLen) { cout<<"out"<<endl; break; } } sleep(1); } close(fd); return 0; }
注意的點(diǎn)
在服務(wù)器端中,調(diào)用select函數(shù)時(shí),因?yàn)閟elect函數(shù)會(huì)將檢測的結(jié)果寫回fd_set,所以如果不做其他操作的話,寫回的數(shù)據(jù)會(huì)覆蓋掉最初的fd_set,造成錯(cuò)誤。所以我們在調(diào)用select函數(shù)之前可以將fd_set暫時(shí)先賦給一個(gè)臨時(shí)變量,如下:
fd_set rdset; fd_set rdtemp; rdtemp = rdset; int num = select(maxfd + 1, &rdtemp, NULL, NULL, NULL);
代碼整體工程、在以上內(nèi)容中加入線程和線程池實(shí)現(xiàn)通信的版本可參考:GitHub - BanLi-Official/CppSelect
poll方式
poll方式運(yùn)行原理
poll
函數(shù)是一種 I/O 多路復(fù)用機(jī)制,類似于 select
函數(shù),但相比 select
更加高效和靈活。poll
通過輪詢方式,在用戶空間和內(nèi)核空間之間進(jìn)行交互。與 select
不同的是,poll
可以支持更大的文件描述符集合,且不會(huì)有文件描述符數(shù)量限制的問題。同時(shí)poll與select不同,select有跨平臺(tái)的特點(diǎn),而poll只能在Linux上使用。
poll函數(shù)使用方法
poll函數(shù)原型如下:
#include <poll.h> struct pollfd { int fd; /* File descriptor to poll. */ short int events; /* Types of events poller cares about. */ short int revents; /* Types of events that actually occurred. */ }; int poll(struct pollfd *fds, nfds_t nfds, int timeout);
fds
:一個(gè)指向struct pollfd
結(jié)構(gòu)體數(shù)組的指針,用于指定待監(jiān)視的文件描述符及其感興趣的事件。每個(gè)struct pollfd
結(jié)構(gòu)包含一個(gè)文件描述符fd
和一個(gè)短整型events
,用于指定關(guān)注的事件類型。revents
字段在poll
返回時(shí)被內(nèi)核修改,用于指示發(fā)生的事件類型。nfds
:表示fds
數(shù)組的大小,即待監(jiān)視的文件描述符數(shù)量。timeout
:指定阻塞等待的時(shí)間(以毫秒為單位)
poll
函數(shù)會(huì)阻塞,直到以下三種情況之一發(fā)生:
- 有一個(gè)或多個(gè)文件描述符準(zhǔn)備好監(jiān)聽的事件。
- 指定的超時(shí)時(shí)間到達(dá)。
- 發(fā)生一個(gè)錯(cuò)誤。
函數(shù)返回值如下:
poll
函數(shù)返回一個(gè)正整數(shù)表示就緒的文件描述符數(shù)量,或者返回以下幾種特定的值:
- 返回大于 0 的整數(shù):表示有文件描述符就緒的數(shù)量??梢酝ㄟ^遍歷監(jiān)視的文件描述符集合,檢查
revents
字段來確定哪些文件描述符具體就緒。 - 返回 0:表示在無限等待模式下超時(shí),即指定的超時(shí)時(shí)間到達(dá),但沒有文件描述符就緒。
- 返回 -1:表示發(fā)生錯(cuò)誤,可以使用
errno
變量獲取具體的錯(cuò)誤代碼。
值得注意的一些小細(xì)節(jié):
poll
函數(shù)返回后,struct pollfd
結(jié)構(gòu)中的 revents
字段會(huì)被修改,以指示每個(gè)文件描述符發(fā)生的事件類型??梢酝ㄟ^遍歷 struct pollfd
數(shù)組,在 revents
字段中檢查位來判斷每個(gè)文件描述符的具體就緒事件。在處理 poll
的返回值時(shí),通常的做法是使用 if
或 switch
語句根據(jù)每個(gè)文件描述符的 revents
值來執(zhí)行相應(yīng)的操作,例如讀取數(shù)據(jù)、寫入數(shù)據(jù)、處理異常等。
實(shí)例
下面是一個(gè)利用poll實(shí)現(xiàn)的客戶端與服務(wù)器端相互傳輸?shù)暮唵问纠?/p>
服務(wù)器端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> #include <poll.h> using namespace std; int main() // 基于多路復(fù)用select函數(shù)實(shí)現(xiàn)的并行服務(wù)器 { // 1 創(chuàng)建監(jiān)聽的fd int lfd = socket(AF_INET, SOCK_STREAM, 0); // 2 綁定 struct sockaddr_in addr; // struct sockaddr_in是用于表示IPv4地址的結(jié)構(gòu)體,它是基于struct sockaddr的擴(kuò)展。 addr.sin_family = AF_INET; addr.sin_port = htons(9995); addr.sin_addr.s_addr = INADDR_ANY; bind(lfd, (struct sockaddr *)&addr, sizeof(addr)); // 3 設(shè)置監(jiān)聽 listen(lfd, 128); // 將監(jiān)聽的fd的狀態(tài)交給內(nèi)核檢測 int maxfd = lfd; //創(chuàng)建文件描述符的隊(duì)列 struct pollfd myfd[100]; for(int i=0;i<100;i++) { myfd[i].fd=-1; myfd[i].events=POLLIN; } myfd[0].fd=lfd; while (1) { //sleep(5); cout<<"poll等待開始"<<endl; int num=poll(myfd,maxfd+1,-1); cout<<"poll等待結(jié)束~"<<endl; // 判斷連接請求還在不在里面,如果在,則運(yùn)行accept if(myfd[0].fd && myfd[0].revents==POLLIN) { struct sockaddr_in cliaddr; int cliaddrLen = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, (socklen_t *)&cliaddrLen); // 得到了有效的客戶端文件描述符,將這個(gè)文件描述符放入讀集合當(dāng)中,并更新最大值 for(int i=0 ; i<1024 ;i++)//找到空的位置 { if(myfd[i].fd==-1 && myfd[i].events==POLLIN) { myfd[i].fd=cfd; cout<<"連接成功! fd放在了"<<i<<endl; break; } } maxfd = cfd > maxfd ? cfd : maxfd; } // 如果沒有建立新的連接,那么就直接通信 for (int i = 0; i < maxfd + 1; i++) { if (myfd[i].fd && myfd[i].revents==POLLIN && i!=0) { // 接收數(shù)據(jù),一次接收10個(gè)字節(jié),客戶端每次發(fā)送100個(gè)字節(jié),下一輪select檢測的時(shí)候, 內(nèi)核還會(huì)標(biāo)記這個(gè)文件描述符緩沖區(qū)有數(shù)據(jù) -> 再讀一次 // 循環(huán)會(huì)一直持續(xù), 知道緩沖區(qū)數(shù)據(jù)被讀完位置 char buf[10] = {0}; cout<<" 外讀"<<endl; int len = read(myfd[i].fd, buf, sizeof(buf)); cout<<"len="<<len<<" i="<<i<<endl; if(len==0) //外部中斷導(dǎo)致的連接中斷 { printf("客戶端關(guān)閉了連接.....\n"); // 將該文件描述符從集合中刪除 myfd[i].fd=-1; break; } cout<<"Get read len="<<len<<endl; if (len == 0) // 客戶端關(guān)閉了連接,,因?yàn)槿绻米x完,會(huì)在select過程中刪除 { printf("客戶端關(guān)閉了連接.....\n"); // 將該文件描述符從集合中刪除 myfd[i].fd=-1; break; } else if (len > 0) // 收到了數(shù)據(jù) { // 發(fā)送數(shù)據(jù) if(len<=2) { cout<<" out!!"<<endl; break; } write(myfd[i].fd, buf, strlen(buf) + 1); if(len<10) { cout<<" out!!"<<endl; break; } sleep(0.1); cout<<"寫了一次 寫的內(nèi)容是:"<<string(buf)<<"###"<<endl; } else { // 異常 perror("read"); myfd[i].fd=-1; break; } } } } return 0; }
客戶端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> using namespace std; int main() //網(wǎng)絡(luò)通信的客戶端 { // 1 創(chuàng)建用于通信的套接字 int fd=socket(AF_INET,SOCK_STREAM,0); if(fd==-1) { perror("socket"); exit(0); } // 2 連接服務(wù)器 struct sockaddr_in addr; addr.sin_family=AF_INET; //ipv4 addr.sin_port=htons(9995);// 服務(wù)器監(jiān)聽的端口, 字節(jié)序應(yīng)該是網(wǎng)絡(luò)字節(jié)序 inet_pton(AF_INET,"127.0.0.1",&addr.sin_addr.s_addr); int ret=connect(fd,(struct sockaddr*)&addr,sizeof(addr)); if(ret==-1) { perror("connect"); exit(0); } //通信 while (1) { //讀數(shù)據(jù) char recvBuf[1024]; //寫數(shù)據(jù) fgets(recvBuf,sizeof(recvBuf),stdin); write(fd,recvBuf,strlen(recvBuf)+1); int oriLen=strlen(recvBuf)-1; cout<<"strlen(recvBuf)="<<oriLen<<endl; int total_get=0; while (total_get<oriLen) { //cout<<"開始讀"<<endl; read(fd,recvBuf,sizeof(recvBuf)); total_get+=10; //cout<<"total_get="<<total_get<<" strlen(recvBuf)="<<oriLen<<endl; printf("recv buf: %s\n", recvBuf); if (total_get>=oriLen) { cout<<"out"<<endl; break; } } sleep(1); } close(fd); return 0; }
整體工程與線程池版本可以參考:GitHub - BanLi-Official/CppPoll: C++ Network Programming: Linux Operating System Poll Example
epoll方式
epoll運(yùn)行原理
epoll是Linux下的一種I/O 多路復(fù)用機(jī)制,可以高效地處理大量的并發(fā)連接。
epoll模型使用一個(gè)文件描述符(epoll fd)來管理多個(gè)其他文件描述符(event fd)。在epoll fd上注冊了感興趣的事件,當(dāng)有感興趣的事件發(fā)生時(shí),epoll會(huì)通知應(yīng)用程序。相比于傳統(tǒng)的select和poll模型,epoll模型有以下幾個(gè)優(yōu)勢:
高效:在大規(guī)模并發(fā)連接的場景下,epoll模型可以顯著提高效率。使用一個(gè)文件描述符來管理多個(gè)連接,避免了遍歷所有連接的開銷。并且epoll使用了“事件通知”的方式,只有在有事件發(fā)生時(shí)才會(huì)通知應(yīng)用程序,避免了無效輪詢。
更快的響應(yīng)速度:由于epoll是基于事件驅(qū)動(dòng)的模型,在有事件發(fā)生時(shí)立即通知應(yīng)用程序,可以更快地響應(yīng)客戶端的請求。
可擴(kuò)展性好:epoll模型采用了無鎖設(shè)計(jì),將連接集合的管理交給內(nèi)核處理,并利用回調(diào)函數(shù)機(jī)制處理連接的讀寫事件,減少了鎖競爭,提高了系統(tǒng)的可擴(kuò)展性。
epoll使用紅黑樹來存儲(chǔ)和管理注冊的事件。紅黑樹是一種自平衡的二叉搜索樹,具有以下特點(diǎn):
二叉搜索樹的性質(zhì):紅黑樹是一棵二叉搜索樹,即對于任意一個(gè)節(jié)點(diǎn),其左子樹的值都小于該節(jié)點(diǎn)的值,右子樹的值都大于該節(jié)點(diǎn)的值。
自平衡性:紅黑樹通過對節(jié)點(diǎn)進(jìn)行一系列旋轉(zhuǎn)和重新著色操作來保持樹的平衡。具體來說,紅黑樹通過五個(gè)性質(zhì)來保持平衡:根節(jié)點(diǎn)是黑色的、葉子節(jié)點(diǎn)(NIL節(jié)點(diǎn))是黑色的、紅色節(jié)點(diǎn)的兩個(gè)子節(jié)點(diǎn)都是黑色的、從任一節(jié)點(diǎn)到其葉子節(jié)點(diǎn)的所有路徑都包含相同數(shù)目的黑色節(jié)點(diǎn)、新插入的節(jié)點(diǎn)是紅色的。
紅黑樹介紹可以參考百度百科:紅黑樹_百度百科
在epoll模型中,當(dāng)應(yīng)用程序調(diào)用epoll_ctl函數(shù)注冊事件時(shí),epoll將會(huì)將文件描述符和其對應(yīng)的事件信息存儲(chǔ)到紅黑樹中,這樣可以方便地查詢和管理事件。紅黑樹的高效查詢特性可以快速找到特定文件描述符對應(yīng)的事件信息,并且可以保持事件信息的有序性。
當(dāng)有事件發(fā)生時(shí),epoll調(diào)用epoll_wait函數(shù)去查詢紅黑樹上已注冊的事件,如果有匹配的事件發(fā)生,就會(huì)通知應(yīng)用程序進(jìn)行處理。紅黑樹是epoll實(shí)現(xiàn)高效I/O多路復(fù)用的關(guān)鍵技術(shù)之一。通過使用紅黑樹,epoll可以將事件的查詢、插入和刪除等操作的時(shí)間復(fù)雜度降低到O(log n),使得在大規(guī)模并發(fā)連接的場景下也能夠高效地處理事件。
epoll函數(shù)使用方法
在Linux下,epoll函數(shù)主要包括以下幾個(gè):
#include <sys/epoll.h> //頭文件 int epoll_create(int size); //創(chuàng)建一個(gè)epoll實(shí)例 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); //控制epoll上的事件 int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); //阻塞等待事件發(fā)生
同時(shí)在這些參數(shù)中,有一個(gè)重要的數(shù)據(jù)結(jié)構(gòu)epoll_event。epoll_event結(jié)構(gòu)體用于描述事件,包括文件描述符、事件類型和事件數(shù)據(jù)。其中的定義如下:
typedef union epoll_data { void *ptr; int fd; uint32_t u32; uint64_t u64; } epoll_data_t; struct epoll_event { uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */ } __EPOLL_PACKED;
其中,events
是事件類型,包括以下幾種:
EPOLLIN
:可讀事件,表示連接上有數(shù)據(jù)可讀。EPOLLOUT
:可寫事件,表示連接上可以寫入數(shù)據(jù)。EPOLLPRI
:緊急事件,表示連接上有緊急數(shù)據(jù)可讀。EPOLLRDHUP
:連接關(guān)閉事件,表示連接已關(guān)閉。EPOLLERR
:錯(cuò)誤事件,表示連接上發(fā)生錯(cuò)誤。EPOLLHUP
:掛起事件,表示連接被掛起。
結(jié)構(gòu)體中的epoll_data
是一個(gè)聯(lián)合體,用于在epoll_event
結(jié)構(gòu)體中傳遞事件數(shù)據(jù)。它有四個(gè)成員變量,可以根據(jù)具體的需求選擇使用其中的一個(gè)。通??梢赃x擇int類型的fd,用于存儲(chǔ)發(fā)生對應(yīng)事件的文件描述符
epoll_create函數(shù):創(chuàng)建一個(gè)epoll fd,返回一個(gè)新的epoll文件描述符。參數(shù)size
用于指定監(jiān)聽的文件描述符個(gè)數(shù),但是在Linux 2.6.8之后的版本,該參數(shù)已經(jīng)沒有實(shí)際意義。傳入一個(gè)大于0的值即可。
int epfd=epoll_create(1);
epoll_ctl函數(shù):用于控制epoll事件的函數(shù)之一。它用于向epoll實(shí)例中添加、修改或刪除關(guān)注的文件描述符和對應(yīng)事件。函數(shù)原型如下:
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
函數(shù)參數(shù):
epfd
:epoll文件描述符,通過epoll_create
函數(shù)創(chuàng)建獲得。op
:操作類型,可以是以下三種取值之一:EPOLL_CTL_ADD
:將文件描述符添加到epoll實(shí)例中。EPOLL_CTL_MOD
:修改已添加到epoll實(shí)例中的文件描述符的關(guān)注事件。EPOLL_CTL_DEL
:從epoll實(shí)例中刪除文件描述符。
fd
:要控制的文件描述符。event
:指向epoll_event
結(jié)構(gòu)體的指針,用于指定要添加、修改或刪除的事件。
函數(shù)返回值:
- 成功時(shí)返回0,表示操作成功。
- 失敗時(shí)返回-1,并設(shè)置errno錯(cuò)誤碼來指示具體錯(cuò)誤原因。
epoll_wait函數(shù):用于等待事件的發(fā)生。它會(huì)一直阻塞直到有事件發(fā)生或超時(shí)。函數(shù)原型如下:
#include <sys/epoll.h> int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
函數(shù)參數(shù):
epfd
:epoll文件描述符,通過epoll_create
函數(shù)創(chuàng)建獲得。events
:用于接收事件的epoll_event
結(jié)構(gòu)體數(shù)組。maxevents
:events
數(shù)組的大小,表示最多可以接收多少個(gè)事件。timeout
:超時(shí)時(shí)間,單位為毫秒,表示epoll_wait函數(shù)阻塞的最長時(shí)間。常用的取值有以下三種:-1
:表示一直阻塞,直到有事件發(fā)生。0
:表示立即返回,不管有沒有事件發(fā)生。> 0
:表示等待指定的時(shí)間(以毫秒為單位),如果在指定時(shí)間內(nèi)沒有事件發(fā)生,則返回。
函數(shù)返回值:
- 成功時(shí)返回接收到的事件的數(shù)量。如果超時(shí)時(shí)間為0并且沒有事件發(fā)生,則返回0。
- 失敗時(shí)返回-1,并設(shè)置errno錯(cuò)誤碼來指示具體錯(cuò)誤原因。
一些要注意的點(diǎn):
在epoll_wait函數(shù)中用于接收事件的epoll_event
結(jié)構(gòu)體數(shù)組是一個(gè)傳出參數(shù),需要定義一個(gè)epoll_event的數(shù)組,比如:
struct epoll_event evens[100];//用于接取傳出的內(nèi)容 int len=sizeof(evens)/sizeof(struct epoll_event);
工作模式
epoll
的工作模式可以分為兩種:邊緣觸發(fā)(Edge Triggered, ET)模式和水平觸發(fā)(Level Triggered, LT)模式。一般epoll運(yùn)行的模式默認(rèn)是水平觸發(fā)模式。
水平模式
有事件就一直不斷通知(默認(rèn)就是這個(gè))
- 當(dāng)被監(jiān)控的文件描述符上的狀態(tài)發(fā)生變化時(shí),
epoll
會(huì)不斷通知應(yīng)用程序,直到應(yīng)用程序處理完事件并返回。 - 如果應(yīng)用程序沒有處理完事件,而文件描述符上的狀態(tài)再次發(fā)生變化,
epoll
會(huì)再次通知應(yīng)用程序。 - 應(yīng)用程序可以使用阻塞或非阻塞I/O來處理事件。
- 水平觸發(fā)模式適合處理低并發(fā)的I/O場景。
實(shí)例
服務(wù)器端:
// server.c #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <sys/epoll.h> #include <iostream> using namespace std; int main() { // 1. 創(chuàng)建監(jiān)聽的套接字 int lfd = socket(AF_INET, SOCK_STREAM, 0); if(lfd == -1) { perror("socket"); exit(0); } // 2. 將socket()返回值和本地的IP端口綁定到一起 struct sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_port = htons(9996); // 大端端口 // INADDR_ANY代表本機(jī)的所有IP, 假設(shè)有三個(gè)網(wǎng)卡就有三個(gè)IP地址 // 這個(gè)宏可以代表任意一個(gè)IP地址 // 這個(gè)宏一般用于本地的綁定操作 addr.sin_addr.s_addr = INADDR_ANY; // 這個(gè)宏的值為0 == 0.0.0.0 // inet_pton(AF_INET, "192.168.8.161", &addr.sin_addr.s_addr); int ret = bind(lfd, (struct sockaddr*)&addr, sizeof(addr)); if(ret == -1) { perror("bind"); exit(0); } // 3. 設(shè)置監(jiān)聽 ret = listen(lfd, 128); if(ret == -1) { perror("listen"); exit(0); } int epfd=epoll_create(1); struct epoll_event even; even.events=EPOLLIN; //用水平觸發(fā)模式來檢測 even.data.fd=lfd; ret=epoll_ctl(epfd,EPOLL_CTL_ADD,lfd,&even); struct epoll_event evens[100];//用于接取傳出的內(nèi)容 int len=sizeof(evens)/sizeof(struct epoll_event); while (1) { cout<<" 開始等待?。?!"<<endl; int num=epoll_wait(epfd,evens,len,-1); cout<<" 等待結(jié)束!??!"<<" num="<<num<<endl; for(int i=0;i<num;i++)//取出所有的檢測到的事件 { int curfd = evens[i].data.fd; if(evens[i].data.fd==lfd) { struct sockaddr_in *add; int len=sizeof(struct sockaddr_in); int cfd=accept(evens[i].data.fd,NULL,NULL); struct epoll_event even; even.events=EPOLLIN; even.data.fd=cfd; //將接收到的cfd放入epoll檢測的紅黑樹當(dāng)中 ret=epoll_ctl(epfd,EPOLL_CTL_ADD,cfd,&even); if(ret==-1) { cout<<"登錄失敗"<<endl; } else { cout<<"登陸成功,已加入紅黑樹"<<endl; } } else { // 接收數(shù)據(jù) char buf[10]; memset(buf, 0, sizeof(buf)); cout<<"正在讀!?。?!"<<endl; int len = read(evens[i].data.fd, buf, sizeof(buf)); if(len > 0) { // 發(fā)送數(shù)據(jù) if(len<=2) { cout<<" out!!"<<endl; break; } printf("客戶端say: %s\n", buf); write(evens[i].data.fd, buf, len); sleep(0.1); } else if(len == 0) { printf("客戶端斷開了連接...\n"); ret=epoll_ctl(epfd,EPOLL_CTL_DEL,evens[i].data.fd,NULL); close(curfd); //break; } else { perror("read"); ret=epoll_ctl(epfd,EPOLL_CTL_DEL,evens[i].data.fd,NULL); close(curfd); //break; } } } } return 0; }
客戶端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> using namespace std; int main() //網(wǎng)絡(luò)通信的客戶端 { // 1 創(chuàng)建用于通信的套接字 int fd=socket(AF_INET,SOCK_STREAM,0); if(fd==-1) { perror("socket"); exit(0); } // 2 連接服務(wù)器 struct sockaddr_in addr; addr.sin_family=AF_INET; //ipv4 addr.sin_port=htons(9996);// 服務(wù)器監(jiān)聽的端口, 字節(jié)序應(yīng)該是網(wǎng)絡(luò)字節(jié)序 inet_pton(AF_INET,"127.0.0.1",&addr.sin_addr.s_addr); int ret=connect(fd,(struct sockaddr*)&addr,sizeof(addr)); if(ret==-1) { perror("connect"); exit(0); } //通信 while (1) { //讀數(shù)據(jù) char recvBuf[1024]; //寫數(shù)據(jù) fgets(recvBuf,sizeof(recvBuf),stdin); write(fd,recvBuf,strlen(recvBuf)+1); int oriLen=strlen(recvBuf)-1; cout<<"strlen(recvBuf)="<<oriLen<<endl; int total_get=0; while (total_get<oriLen) { //cout<<"開始讀"<<endl; char recvBuf2[1024]; read(fd,recvBuf2,sizeof(recvBuf2)); total_get+=10; cout<<"total_get="<<total_get<<" strlen(recvBuf)="<<oriLen<<endl; printf("recv buf: %s\n", recvBuf2); if (total_get>=oriLen) { cout<<"out"<<endl; break; } } sleep(1); } close(fd); return 0; }
邊沿模式
有事件只通知一次,后續(xù)一次處理沒解決玩的內(nèi)容需要程序員自己解決
- 僅當(dāng)被監(jiān)控的文件描述符上的狀態(tài)發(fā)生變化時(shí),
epoll
才會(huì)通知應(yīng)用程序。 - 當(dāng)文件描述符上有數(shù)據(jù)可讀或可寫時(shí),
epoll
會(huì)立即通知應(yīng)用程序,并且保證應(yīng)用程序能夠全部讀取或?qū)懭霐?shù)據(jù),直到讀寫緩沖區(qū)為空。 - 應(yīng)用程序需要使用非阻塞I/O來處理事件,以避免阻塞其他文件描述符的事件通知。
- 邊緣觸發(fā)模式適合處理高并發(fā)的網(wǎng)絡(luò)通信場景。
實(shí)例
服務(wù)器端:
// server.c #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <sys/epoll.h> #include <iostream> #include <fcntl.h> #include <errno.h> using namespace std; int main() { // 1. 創(chuàng)建監(jiān)聽的套接字 int lfd = socket(AF_INET, SOCK_STREAM, 0); if (lfd == -1) { perror("socket"); exit(0); } // 2. 將socket()返回值和本地的IP端口綁定到一起 struct sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_port = htons(9996); // 大端端口 // INADDR_ANY代表本機(jī)的所有IP, 假設(shè)有三個(gè)網(wǎng)卡就有三個(gè)IP地址 // 這個(gè)宏可以代表任意一個(gè)IP地址 // 這個(gè)宏一般用于本地的綁定操作 addr.sin_addr.s_addr = INADDR_ANY; // 這個(gè)宏的值為0 == 0.0.0.0 // inet_pton(AF_INET, "192.168.8.161", &addr.sin_addr.s_addr); int ret = bind(lfd, (struct sockaddr *)&addr, sizeof(addr)); if (ret == -1) { perror("bind"); exit(0); } // 3. 設(shè)置監(jiān)聽 ret = listen(lfd, 128); if (ret == -1) { perror("listen"); exit(0); } int epfd = epoll_create(1); struct epoll_event even; even.events = EPOLLIN | EPOLLET; //使用邊沿觸發(fā)模式檢測 even.data.fd = lfd; ret = epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &even); struct epoll_event evens[100]; // 用于接取傳出的內(nèi)容 int len = sizeof(evens) / sizeof(struct epoll_event); while (1) { cout << " 開始等待!??!" << endl; int num = epoll_wait(epfd, evens, len, -1); cout << " 等待結(jié)束?。。? << " num=" << num << endl; for (int i = 0; i < num; i++) // 取出所有的檢測到的事件 { int curfd = evens[i].data.fd; if (evens[i].data.fd == lfd) { struct sockaddr_in *add; int len = sizeof(struct sockaddr_in); int cfd = accept(evens[i].data.fd, NULL, NULL); // 將這個(gè)文件標(biāo)識符改為非阻塞模式 int flag = fcntl(cfd, F_GETFL); // 獲取該文件描述符的狀態(tài)標(biāo)志 flag = O_NONBLOCK; // 設(shè)置為 O_NONBLOCK,即非阻塞模式。 fcntl(cfd, F_SETFL, flag); // 將新的狀態(tài)標(biāo)志設(shè)置為非阻塞模式。 struct epoll_event even; even.events = EPOLLIN | EPOLLET;//使用邊沿觸發(fā)模式檢測 even.data.fd = cfd; // 將接收到的cfd放入epoll檢測的紅黑樹當(dāng)中 ret = epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &even); if (ret == -1) { cout << "登錄失敗" << endl; } else { cout << "登陸成功,已加入紅黑樹" << endl; } } else { // 接收數(shù)據(jù) char buf[10]; memset(buf, 0, sizeof(buf)); cout << "正在讀?。。。? << endl; while (1) // 應(yīng)對Epoll的ET模式而用的循環(huán)read,read要將文件標(biāo)識符改為非阻塞版本 { int len = read(evens[i].data.fd, buf, sizeof(buf)); if (len > 0) { // 發(fā)送數(shù)據(jù) if (len <= 2) { cout << " out!!" << endl; break; } printf("客戶端say: %s\n", buf); write(evens[i].data.fd, buf, len); sleep(0.1); } else if (len == 0) { printf("客戶端斷開了連接...\n"); ret = epoll_ctl(epfd, EPOLL_CTL_DEL, evens[i].data.fd, NULL); close(curfd); break; } else { perror("read"); //ret = epoll_ctl(epfd, EPOLL_CTL_DEL, evens[i].data.fd, NULL); //close(curfd); if (errno == EAGAIN) { cout << "接收完畢!" << endl; break; } // break; } } } } } return 0; }
客戶端:
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <arpa/inet.h> #include <iostream> using namespace std; int main() //網(wǎng)絡(luò)通信的客戶端 { // 1 創(chuàng)建用于通信的套接字 int fd=socket(AF_INET,SOCK_STREAM,0); if(fd==-1) { perror("socket"); exit(0); } // 2 連接服務(wù)器 struct sockaddr_in addr; addr.sin_family=AF_INET; //ipv4 addr.sin_port=htons(9996);// 服務(wù)器監(jiān)聽的端口, 字節(jié)序應(yīng)該是網(wǎng)絡(luò)字節(jié)序 inet_pton(AF_INET,"127.0.0.1",&addr.sin_addr.s_addr); int ret=connect(fd,(struct sockaddr*)&addr,sizeof(addr)); if(ret==-1) { perror("connect"); exit(0); } //通信 while (1) { //讀數(shù)據(jù) char recvBuf[1024]; //寫數(shù)據(jù) fgets(recvBuf,sizeof(recvBuf),stdin); write(fd,recvBuf,strlen(recvBuf)+1); int oriLen=strlen(recvBuf)-1; cout<<"strlen(recvBuf)="<<oriLen<<endl; int total_get=0; while (total_get<oriLen) { //cout<<"開始讀"<<endl; char recvBuf2[1024]; read(fd,recvBuf2,sizeof(recvBuf2)); total_get+=10; cout<<"total_get="<<total_get<<" strlen(recvBuf)="<<oriLen<<endl; printf("recv buf: %s\n", recvBuf2); if (total_get>=oriLen) { cout<<"out"<<endl; break; } } sleep(1); } close(fd); return 0; }
邊沿模式需要注意的點(diǎn)
由于邊沿模式只通知一次事件發(fā)生,所以當(dāng)我們服務(wù)器端接收來自客戶端的較為長的內(nèi)容時(shí),可能會(huì)出現(xiàn),一次無法完全接收的情況。而邊沿模式又只通知一次,所以此時(shí)沒讀取完的內(nèi)容可能無法及時(shí)讀取。為了應(yīng)對這個(gè)問題,我們可以采取循環(huán)接收的方法,如:
while (1) // 應(yīng)對Epoll的ET模式而用的循環(huán)read, { int len = read(evens[i].data.fd, buf, sizeof(buf)); if (len > 0) { // 發(fā)送數(shù)據(jù) } else if (len == 0) { printf("客戶端斷開了連接...\n"); break; } else { perror("read"); break; } }
應(yīng)用程序在處理事件時(shí)需要使用非阻塞I/O,確保能夠立即處理事件并避免阻塞其他事件的通知。需要注意將被監(jiān)控的文件描述符設(shè)置為非阻塞狀態(tài),以確保事件的及時(shí)處理??梢允褂?code>fcntl函數(shù)的O_NONBLOCK
標(biāo)志來將文件描述符設(shè)置為非阻塞模式。(因?yàn)槿绻辉O(shè)置為非阻塞模式的話,服務(wù)器端在循環(huán)讀取客戶端發(fā)來的內(nèi)容時(shí),如果讀完了內(nèi)容,應(yīng)用程序就會(huì)阻塞在read函數(shù)部分)將其設(shè)置為非阻塞模式后,我們在讀取完內(nèi)容之后,就可以根據(jù)read返回的EAGAIN錯(cuò)誤(接收緩沖區(qū)為空時(shí)會(huì)報(bào))來跳出循環(huán)。設(shè)置方式如下:
int cfd = accept(evens[i].data.fd, NULL, NULL); // 將這個(gè)文件標(biāo)識符改為非阻塞模式 int flag = fcntl(cfd, F_GETFL); // 獲取該文件描述符的狀態(tài)標(biāo)志 flag = O_NONBLOCK; // 設(shè)置為 O_NONBLOCK,即非阻塞模式。 fcntl(cfd, F_SETFL, flag); // 將新的狀態(tài)標(biāo)志設(shè)置為非阻塞模式。 struct epoll_event even; even.events = EPOLLIN | EPOLLET; //使用邊沿觸發(fā)模式檢測讀緩沖區(qū) even.data.fd = cfd; // 將接收到的cfd放入epoll檢測的紅黑樹當(dāng)中 ret = epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &even);
退出時(shí)判斷的EAGAIN錯(cuò)誤,存在erron.h庫中。errno(error number)是C語言標(biāo)準(zhǔn)庫(C Standard Library)提供的一個(gè)全局變量,用于表示上一次發(fā)生的錯(cuò)誤代碼。errno庫提供了一些宏定義和函數(shù),用于獲取和處理錯(cuò)誤代碼。需要注意的是,errno是全局變量,在多線程環(huán)境下需要注意線程安全。如:
while (1) // 應(yīng)對Epoll的ET模式而用的循環(huán)read, { int len = read(evens[i].data.fd, buf, sizeof(buf)); if (len > 0) { // 發(fā)送數(shù)據(jù) } else if (len == 0) { printf("客戶端斷開了連接...\n"); break; } else { perror("read"); if (errno == EAGAIN) //判斷是否讀取完畢 { cout << "接收完畢!" << endl; break; } } }
整體工程與線程池版本可以參考:https://github.com/BanLi-Official/CppEpoll
參考資料
感謝蘇丙榅大佬的教程
愛編程的大丙的個(gè)人空間-愛編程的大丙個(gè)人主頁-嗶哩嗶哩視頻
(C++通訊架構(gòu)學(xué)習(xí)筆記):epoll介紹及原理詳解_c++ epoll-CSDN博客
C++ select模型詳解(多路復(fù)用IO)-CSDN博客
C++網(wǎng)絡(luò)編程select函數(shù)原理詳解_c++ select-CSDN博客
到此這篇關(guān)于C++中IO多路復(fù)用(select、poll、epoll)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)C++ IO多路復(fù)用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
C++棧實(shí)現(xiàn)逆波蘭式的應(yīng)用
逆波蘭式指的是操作符在其所控制的操作數(shù)后面的表達(dá)式。本文主要介紹了C++棧實(shí)現(xiàn)逆波蘭式的應(yīng)用,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-11-11C++利用循環(huán)和棧實(shí)現(xiàn)走迷宮
這篇文章主要為大家詳細(xì)介紹了C++利用循環(huán)和棧實(shí)現(xiàn)走迷宮,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-05-05如何用c++表驅(qū)動(dòng)替換if/else和switch/case語句
本文將介紹使用表驅(qū)動(dòng)法,替換復(fù)雜的if/else和switch/case語句,想了解詳細(xì)內(nèi)容,請看下文2021-08-08C++利用多態(tài)實(shí)現(xiàn)職工管理系統(tǒng)(項(xiàng)目開發(fā))
這篇文章主要介紹了C++利用多態(tài)實(shí)現(xiàn)職工管理系統(tǒng)(項(xiàng)目開發(fā)),本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01C++實(shí)現(xiàn)圖書館管理系統(tǒng)源碼
這篇文章主要為大家詳細(xì)介紹了C++實(shí)現(xiàn)圖書館管理系統(tǒng)源碼,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03