利用nginx + fastcgi實(shí)現(xiàn)圖片識(shí)別服務(wù)器
背景
使用的特定的設(shè)備進(jìn)行深度學(xué)習(xí)模型的推理，該機(jī)器僅僅提供了C++封裝好的API進(jìn)行模型的加載啟動(dòng)與推理，模型的訓(xùn)練依然是使用caffe，模型需要轉(zhuǎn)化成該設(shè)備支持的格式，模型的轉(zhuǎn)化這里就不在介紹。為了把模型的推理做成一種服務(wù)，只能上手C++，搭建HTTP服務(wù)，使得用戶(hù)通過(guò)http服務(wù)post一張圖片，服務(wù)器啟動(dòng)模型推理，實(shí)現(xiàn)模型的預(yù)測(cè)，并把結(jié)果返回給客戶(hù)端。
整體框架
服務(wù)短的服務(wù)內(nèi)容就是對(duì)接收的圖片進(jìn)行預(yù)處理，然后進(jìn)行模型的推理，目前需要做的一點(diǎn)就是引入HTTP服務(wù)
前期調(diào)研
對(duì)于一個(gè)C++新手，前期調(diào)研當(dāng)然是先進(jìn)行搜索，http server c++搜處理的結(jié)果也是五花八門(mén)，有的是教你如何通過(guò)實(shí)現(xiàn)一個(gè)http服務(wù)器,有的是一個(gè)用第三方庫(kù)，有的是直接懟一堆代碼。。。知道在stackoverflow上看到了：
why
not try NGINX with fcgi-function mapping?
實(shí)現(xiàn)步驟
nginx這個(gè)是做代理的神器，做負(fù)載均衡的時(shí)候也經(jīng)常用，只要我的客戶(hù)端的內(nèi)容發(fā)送的nginx上，然后nginx把數(shù)據(jù)轉(zhuǎn)發(fā)給fcgi相關(guān)的應(yīng)用就可以，我需要做的就是把fcgi和我的推理程序結(jié)合起來(lái)就可以。
nginx
簡(jiǎn)單說(shuō)nginx就是中間商，客戶(hù)端把請(qǐng)求發(fā)給中間商，中間商去貨源地把貨拿上，讓后給客戶(hù)回應(yīng)：
客戶(hù)告訴nginx 我要購(gòu)買(mǎi)**商品，nginx就去對(duì)于的服務(wù)提供商取出對(duì)于服務(wù)并把它返回給客戶(hù)。
目前需要的就是實(shí)現(xiàn)fcgi 部分，那么什么是fcgi?
cgi
通用網(wǎng)關(guān)接口（Common Gateway Interface/CGI）是一種重要的互聯(lián)網(wǎng)技術(shù)，可以讓一個(gè)客戶(hù)端，從網(wǎng)頁(yè)瀏覽器向執(zhí)行在網(wǎng)絡(luò)服務(wù)器上的程序請(qǐng)求數(shù)據(jù)。CGI描述了服務(wù)器和請(qǐng)求處理程序之間傳輸數(shù)據(jù)的一種標(biāo)準(zhǔn)。
這里的標(biāo)準(zhǔn)輸入輸出是對(duì)應(yīng)的一些環(huán)境變量主要包含有與請(qǐng)求相關(guān)的環(huán)境變量，與服務(wù)器相關(guān)的環(huán)境變量，與客戶(hù)端相關(guān)的環(huán)境變量三大類(lèi)。
fastcgi
FastCGI 實(shí)際上是增加了一些擴(kuò)展功能的 CGI 、是 CGI 的改進(jìn)，同樣也是描述客戶(hù)端和Web服務(wù)器程序之間傳輸數(shù)據(jù)的一種標(biāo)準(zhǔn)。
FastCGI 致力于減少Web服務(wù)器與CGI程序之間進(jìn)行互動(dòng)的開(kāi)銷(xiāo)，從而使Web服務(wù)器可以同時(shí)處理更多的Web請(qǐng)求。與 CGI 為每個(gè)Web請(qǐng)求創(chuàng)建一個(gè)新的進(jìn)程不同， FastCGI 使用持續(xù)的進(jìn)程來(lái)處理一連串的Web請(qǐng)求，這些進(jìn)程由FastCGI進(jìn)程管理器管理，而不是Web服務(wù)器。
為什么說(shuō)是減少了互動(dòng)的開(kāi)銷(xiāo)呢？這就要看兩種處理方式的區(qū)別！
cgi的工作流程：
每當(dāng)客戶(hù)端發(fā)出一個(gè)新的請(qǐng)求，首先要?jiǎng)?chuàng)建一個(gè)cgi子進(jìn)程，然后cgi處理完請(qǐng)求，有多少個(gè)連接就會(huì)有多少個(gè)cgi子進(jìn)程啟動(dòng)，當(dāng)請(qǐng)求量大的時(shí)候會(huì)占用大量的系統(tǒng)資源。
fastcgi
fastcgi 是使用持續(xù)的進(jìn)程處理一連串的請(qǐng)求，這些進(jìn)程有fastcgi的進(jìn)程管理器來(lái)進(jìn)行管理具體流程如下所示：
也可以這樣比喻：
cgi在賣(mài)雞蛋灌餅，等到顧客要吃的時(shí)候，他開(kāi)始點(diǎn)火，打雞蛋，攤餅，然后熄火。然后等待下一個(gè)顧客
fastcgi就是早餐店老版，雇傭了一幫服務(wù)員，專(zhuān)門(mén)做需要現(xiàn)場(chǎng)做的飯，老板只需要把訂單安排下去，服務(wù)員負(fù)責(zé)盛粥煎餅。
具體步驟
- 搭建c++的開(kāi)發(fā)環(huán)境
- 搭建nginx
- 安裝fastcgi
- 安裝fastcgi的進(jìn)程管理器spawn-cgi
- 編寫(xiě)運(yùn)行程序
- 編譯運(yùn)行
工欲善其事，必先利其器，首先搭建環(huán)境把！
通過(guò)閱讀不少的博客內(nèi)容找到了最簡(jiǎn)單的安裝步驟，好多都是通過(guò)下載源代碼，然后通過(guò)make進(jìn)行編譯，不過(guò)對(duì)于這些比較常用的庫(kù)，軟件包中已經(jīng)集成了。
C++開(kāi)發(fā)環(huán)境安裝
apt-get install build-essential
nginx
apt-get install nginx
fastcgi
sudo apt-get install libfcgi-dev
spawn-fcgi
apt-get install spawn-fcgi
編寫(xiě)運(yùn)行程序
#include <iostream>
#include "fcgio.h"
using namespace std;
int main(void) {
// Backup the stdio streambufs
streambuf * cin_streambuf = cin.rdbuf();
streambuf * cout_streambuf = cout.rdbuf();
streambuf * cerr_streambuf = cerr.rdbuf();
FCGX_Request request;
FCGX_Init();
FCGX_InitRequest(&request, 0, 0);
while (FCGX_Accept_r(&request) == 0) {
fcgi_streambuf cin_fcgi_streambuf(request.in);
fcgi_streambuf cout_fcgi_streambuf(request.out);
fcgi_streambuf cerr_fcgi_streambuf(request.err);
cin.rdbuf(&cin_fcgi_streambuf);
cout.rdbuf(&cout_fcgi_streambuf);
cerr.rdbuf(&cerr_fcgi_streambuf);
cout << "Content-type: text/html\r\n"
<< "\r\n"
<< "<html>\n"
<< " <head>\n"
<< " <title>Hello, World!</title>\n"
<< " </head>\n"
<< " <body>\n"
<< " <h1>Hello, World!</h1>\n"
<< " </body>\n"
<< "</html>\n";
}
cin.rdbuf(cin_streambuf);
cout.rdbuf(cout_streambuf);
cerr.rdbuf(cerr_streambuf);
return 0;
編譯程序
g++ cgi.cpp -o cgidemo -lfcgi
修改nginx 配置文件
vi /usr/local/nginx/conf/nginx.conf
啟動(dòng)nginx
nginx -c /usr/local/nginx/conf/nginx.conf
通過(guò)瀏覽器驗(yàn)證nginx是否正常啟動(dòng)http://*******:80
啟動(dòng)spwan-cgi進(jìn)程
spawn-fcgi -a 127.0.0.1 -C 20 -p 7070 ./cgidemo
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
- ubuntu上配置Nginx+PHP5 FastCGI服務(wù)器配置
- Nginx 0.7.x + PHP 5.2.6（FastCGI）+ MySQL 5.1 在128M小內(nèi)存VPS服務(wù)器上的配置優(yōu)化
- Nginx+PHP(FastCGI)搭建高并發(fā)WEB服務(wù)器(自動(dòng)安裝腳本)第二版
- Nginx0.5.33+PHP5.2.5(FastCGI)搭建勝過(guò)Apache10倍的Web服務(wù)器
- CentOS 6.1 環(huán)境中部署nginx、php（包括fastcgi）、虛擬主機(jī)配置
- 解決Nginx + PHP（FastCGI）遇到的502 Bad Gateway錯(cuò)誤
- Nginx(PHP/fastcgi)的PATH_INFO問(wèn)題
相關(guān)文章
這篇文章主要介紹了Nginx性能優(yōu)化,Nginx (engine x) 是一個(gè)高性能的HTTP和反向代理web服務(wù)器，同時(shí)也提供了IMAP/POP3/SMTP服務(wù),需要的朋友可以參考下2023-04-04
Nginx優(yōu)化服務(wù)之網(wǎng)頁(yè)壓縮的實(shí)現(xiàn)方法
這篇文章主要介紹了Nginx優(yōu)化服務(wù)之網(wǎng)頁(yè)壓縮的實(shí)現(xiàn)方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
結(jié)合 Nginx 將 DoNetCore 部署到 阿里云的安裝配置方法
這篇文章主要介紹了結(jié)合 Nginx 將 DoNetCore 部署到 阿里云的方法 ,需要的朋友可以參考下2018-10-10
這篇文章主要介紹了提升Nginx性能的一些建議，幫助大家更好的使用nginx，感興趣的朋友可以了解下2020-09-09
nginx pod hook鉤子優(yōu)雅關(guān)閉示例詳解
這篇文章主要為大家介紹了nginx pod hook鉤子優(yōu)雅關(guān)閉示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
nginx 配置特定IP訪(fǎng)問(wèn)的實(shí)現(xiàn)
本文主要介紹了nginx 配置特定IP訪(fǎng)問(wèn)的實(shí)現(xiàn),通過(guò)合理設(shè)置Nginx的配置文件,管理員可以根據(jù)實(shí)際需求,靈活地控制對(duì)網(wǎng)站資源的訪(fǎng)問(wèn),提高網(wǎng)站的安全性,感興趣的可以了解一下2024-01-01
詳解nginx rewrite和根據(jù)url參數(shù)location
本篇文章主要是介紹了nginx rewrite和根據(jù)url參數(shù)location，有興趣的同學(xué)可以了解以下。2016-11-11
詳解Nginx 動(dòng)態(tài) DNS 反向代理的幾種寫(xiě)法
這篇文章主要介紹了詳解Nginx 動(dòng)態(tài) DNS 反向代理的幾種寫(xiě)法，詳細(xì)的介紹了Nginx 動(dòng)態(tài) DNS 反向代理的4種方法，非常具有實(shí)用價(jià)值，需要的朋友可以參考下2018-05-05
在使用nginx代理的過(guò)程中,斜線(xiàn)是一個(gè)非常重要的符號(hào),因?yàn)樗婕暗搅苏?qǐng)求路徑的匹配問(wèn)題,本文主要介紹了Nginx代理中使用斜杠的區(qū)別小結(jié),感興趣的可以了解一下2023-09-09
這篇文章主要介紹了CentOS 4.0安裝配置Nginx的方法,需要的朋友可以參考下2014-11-11