Python Web框架Tornado運(yùn)行和部署
本文實(shí)例為大家分享了Python Web框架Tornado運(yùn)行和部署的詳細(xì)內(nèi)容,供大家參考,具體內(nèi)容如下
一、運(yùn)行和部署
因?yàn)門ornado內(nèi)置了自己的HTTPServer,運(yùn)行和部署它與其他Python web框架不太一樣。你需要寫一個(gè)main()函數(shù)來啟動(dòng)服務(wù),而不是配置一個(gè)WSGI容器來運(yùn)行你的應(yīng)用:
def main(): app = make_app() app.listen(8888) IOLoop.current().start() if __name__ == '__main__': main()
配置你的操作系統(tǒng)或者進(jìn)程管理器來運(yùn)行這個(gè)程序以啟動(dòng)服務(wù)。注意,增加每個(gè)進(jìn)程允許打開的最大文件句柄數(shù)是可能是必要的(為了避免“Too many open files” 的錯(cuò)誤)。為了增加這個(gè)上限(例如設(shè)置為50000 ) 你可以使用ulimit命令,修改/etc/security/limits.conf 或者設(shè)置minfds 在你的supervisord配置中。
二、進(jìn)程和端口
由于Python的GIL(全局解釋器鎖),為了充分利用多CPU的機(jī)器,運(yùn)行多個(gè)Python 進(jìn)程是很有必要的。通常,最好是每個(gè)CPU運(yùn)行一個(gè)進(jìn)程。
Tornado包含了一個(gè)內(nèi)置的多進(jìn)程模式來一次啟動(dòng)多個(gè)進(jìn)程,這需要一個(gè)在main 函數(shù)上做點(diǎn)微小的改變:
def main(): app = make_app() server = tornado.httpserver.HTTPServer(app) server.bind(8888) server.start(0) # forks one process per cpu IOLoop.current().start()
這是最簡(jiǎn)單的方式來啟動(dòng)多進(jìn)程并讓他們共享同樣的端口,雖然它有一些局限性。首先,每個(gè)子進(jìn)程將有它自己的IOLoop,所以fork之前,不接觸全局 IOLoop 實(shí)例是重要的(甚至是間接的)。其次,在這個(gè)模型中,很難做到零停機(jī) (zero-downtime)更新。最后,因?yàn)樗械倪M(jìn)程共享相同的端口,想單獨(dú)監(jiān)控它們就更加困難了。
對(duì)更復(fù)雜的部署,建議啟動(dòng)獨(dú)立的進(jìn)程,并讓它們各自監(jiān)聽不同的端口, supervisord 的“進(jìn)程組(process groups)”功能是一個(gè)很好的方式。當(dāng)每個(gè)進(jìn)程使用不同的端口,一個(gè)外部的負(fù)載均衡器,例如HAProxy或nginx通常需要對(duì)外向訪客提供一個(gè)單一的地址。
三、運(yùn)行在負(fù)載均衡器后面
當(dāng)運(yùn)行在一個(gè)負(fù)載均衡器例如nginx,建議傳遞xheaders=True 給 HTTPServer 的構(gòu)造器。這將告訴Tornado使用類似 X-Real-IP 這樣的HTTP頭來獲取用戶的IP地址而不是把所有流量都認(rèn)為來自于負(fù)載均衡器的IP地址。
這是一份原始的nginx配置文件,在結(jié)構(gòu)上類似于我們?cè)贔riendFeed所使用的配置。這是假設(shè)nginx和Tornado server運(yùn)行在同一臺(tái)機(jī)器上的,并且四個(gè) Tornado server 正運(yùn)行在8000 - 8003端口:
user nginx; worker_processes 1; error_log /var/log/nginx/error.log; pid /var/run/nginx.pid; events { worker_connections 1024; use epoll; } http { # Enumerate all the Tornado servers here upstream frontends { server 127.0.0.1:8000; server 127.0.0.1:8001; server 127.0.0.1:8002; server 127.0.0.1:8003; } include /etc/nginx/mime.types; default_type application/octet-stream; access_log /var/log/nginx/access.log; keepalive_timeout 65; proxy_read_timeout 200; sendfile on; tcp_nopush on; tcp_nodelay on; gzip on; gzip_min_length 1000; gzip_proxied any; gzip_types text/plain text/html text/css text/xml application/x-javascript application/xml application/atom+xml text/javascript; # Only retry if there was a communication error, not a timeout # on the Tornado server (to avoid propagating "queries of death" # to all frontends) proxy_next_upstream error; server { listen 80; # Allow file uploads client_max_body_size 50M; location ^~ /static/ { root /var/www; if ($query_string) { expires max; } } location = /favicon.ico { rewrite (.*) /static/favicon.ico; } location = /robots.txt { rewrite (.*) /static/robots.txt; } location / { proxy_pass_header Server; proxy_set_header Host $http_host; proxy_redirect off; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Scheme $scheme; proxy_pass http://frontends; } } }
四、靜態(tài)文件和文件緩存
Tornado中,你可以通過在應(yīng)用程序中指定特殊的 static_path 來提供靜態(tài)文件服務(wù):
settings = { "static_path": os.path.join(os.path.dirname(__file__), "static"), "cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__", "login_url": "/login", "xsrf_cookies": True, } application = tornado.web.Application([ (r"/", MainHandler), (r"/login", LoginHandler), (r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler, dict(path=settings['static_path'])), ], **settings)
這些設(shè)置將自動(dòng)的把所有以 /static/ 開頭的請(qǐng)求交由static目錄,例如http://localhost:8888/static/foo.png 將會(huì)通過指定的static目錄提供 foo.png 文件。我們也會(huì)自動(dòng)從static目錄提供 /robots.txt 和 /favicon.ico (盡管它們并沒有以 /static/ 前綴開始)。
在上面的設(shè)置中,我們明確的配置Tornado從 StaticFileHandler 根下獲取 apple-touch-icon.png 文件,雖然文件在static文件目錄中。(正則表達(dá)式捕獲組必須告訴 StaticFileHandler 請(qǐng)求的文件名,調(diào)用捕獲組把文件名作為方法的參數(shù)傳遞給處理程序) 你可以做同樣的事情,比如從網(wǎng)站的根提供 sitemap.xml 文件。 當(dāng)然,你也可以通過在你的HTML中使用 <link /> 標(biāo)簽來避免偽造根目錄的 apple-touch-icon.png 。
為了改善性能,通常情況下,讓瀏覽器主動(dòng)緩存靜態(tài)資源是個(gè)好主意, 這樣瀏覽器就不會(huì)發(fā)送不必要的可能在渲染頁面時(shí)阻塞的 If-Modified-Since 或 Etag 請(qǐng)求了, Tornado使用 靜態(tài)內(nèi)容版本(static content versioning) 來支持此項(xiàng)功能。
為了使用這些功能,在你的模板中使用 static_url 方法,而不是直接在你的HTML中輸入靜態(tài)文件的URL:
<html> <head> <title>FriendFeed - {{ _("Home") }}</title> </head> <body> <div><img src="{{ static_url("images/logo.png") }}"/></div> </body> </html>
static_url() 函數(shù)將把相對(duì)路徑翻譯成一個(gè)URI類似于 /static/images/logo.png?v=aae54.其中的 v 參數(shù)是 logo.png 內(nèi)容的哈希(hash),并且它的存在使得Tornado服務(wù)向用戶的瀏覽器發(fā)送緩存頭,這將使瀏覽器無限期的緩存內(nèi)容。
因?yàn)閰?shù) v 是基于文件內(nèi)容的,如果你更新一個(gè)文件并重啟服務(wù),它將發(fā)送一個(gè)新的 v 值,所以用戶的瀏覽器將會(huì)自動(dòng)的拉去新的文件。如果文件的內(nèi)容沒有改變,瀏覽器將會(huì)繼續(xù)使用本地緩存的副本,而不會(huì)從服務(wù)器檢查更新,顯著的提高了渲染性能。
在生產(chǎn)中,你可能想提供靜態(tài)文件通過一個(gè)更優(yōu)的靜態(tài)服務(wù)器, 比如nginx,你可以配置任何web服務(wù)器識(shí)別通過 static_url() 提供的版本標(biāo)簽并相應(yīng)的設(shè)置緩存頭。下面是我們?cè)?FriendFeed 使用的nginx相關(guān)配置的一部分:
location /static/ { root /var/friendfeed/static; if ($query_string) { expires max; } }
五、Debug模式和自動(dòng)重載
如果傳遞 debug=True 配置給 Application 的構(gòu)造函數(shù),應(yīng)用程序?qū)?huì)運(yùn)行在debug/開發(fā)模式。 在這個(gè)模式下,為了方便于開發(fā)的一些功能將被啟用( 每一個(gè)也可以作為獨(dú)立的標(biāo)簽使用,如果它們都被專門指定,那它們都將獲得獨(dú)立的優(yōu)先級(jí)):
1、autoreload=True: 應(yīng)用程序?qū)?huì)觀察它的源文件是否改變,并且當(dāng)任何文件改變的時(shí)候便重載它自己。這減少了在開發(fā)中需要手動(dòng)重啟服務(wù)的需求。然而,在debug模式下,某些錯(cuò)誤(例如import的時(shí)候有語法錯(cuò)誤)會(huì)導(dǎo)致服務(wù) 關(guān)閉,并且無法自動(dòng)恢復(fù)。
2、compiled_template_cache=False: 模板將不會(huì)被緩存。
3、static_hash_cache=False: 靜態(tài)文件哈希 (被 static_url 函數(shù)使用) 將不會(huì)被緩存。
4、serve_traceback=True: 當(dāng)一個(gè)異常在 RequestHandler 中沒有捕獲,將會(huì)生成一個(gè)包含調(diào)用棧信息的錯(cuò)誤頁。
自動(dòng)重載(autoreload)模式和 HTTPServer 的多進(jìn)程模式不兼容,你不能給 HTTPServer.start 傳遞 1 以外的參數(shù)(或者調(diào)用 tornado.process.fork_processes) 當(dāng)你使用自動(dòng)重載模式的時(shí)候。
debug模式的自動(dòng)重載功能可作為一個(gè)獨(dú)立的模塊位于 tornado.autoreload。以下兩者可以結(jié)合使用,在語法錯(cuò)誤之時(shí)提供額外的健壯性: 設(shè)置 autoreload=True 可以在app運(yùn)行時(shí)檢測(cè)文件修改,還有啟動(dòng) python -m tornado.autoreload myserver.py 來捕獲任意語法錯(cuò)誤或者其他的啟動(dòng)時(shí)錯(cuò)誤。
重載會(huì)丟失任何Python解釋器命令行參數(shù)(-u). 因?yàn)樗褂?sys.executable 和 sys.argv 重新執(zhí)行Python。此外,修改這些變量將造成重載錯(cuò)誤。
在一些平臺(tái)(包括Windows 和Mac OSX 10.6之前),進(jìn)程不能被“原地”更新,所以當(dāng)檢測(cè)到代碼更新,舊服務(wù)就會(huì)退出然后啟動(dòng)一個(gè)新服務(wù)。這已經(jīng)被公知來混淆一些IDE。
六、WSGI和Google App Engine
Tornado通常是獨(dú)立運(yùn)行的,不需要一個(gè)WSGI容器。然而,在一些環(huán)境中 (例如Google App Engine),只運(yùn)行WSGI,應(yīng)用程序不能獨(dú)立運(yùn)行自己的服務(wù)。在這種情況下,Tornado支持一個(gè)有限制的操作模式,不支持異步操作但允許一個(gè)Tornado's功能的子集在僅WSGI環(huán)境中。以下功能在WSGI模式下是不支持的,包括協(xié)程,@asynchronous 裝飾器,AsyncHTTPClient,auth 模塊和WebSockets。
你可以使用 tornado.wsgi.WSGIAdapter 把一個(gè)Tornado Application 轉(zhuǎn)換成WSGI應(yīng)用。在這個(gè)例子中, 配置你的WSGI容器發(fā) 現(xiàn) application 對(duì)象:
import tornado.web import tornado.wsgi class MainHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, world") tornado_app = tornado.web.Application([ (r"/", MainHandler), ]) application = tornado.wsgi.WSGIAdapter(tornado_app)
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助。
- 深入解析Python的Tornado框架中內(nèi)置的模板引擎
- 使用Python的Tornado框架實(shí)現(xiàn)一個(gè)Web端圖書展示頁面
- 為Python的Tornado框架配置使用Jinja2模板引擎的方法
- Python的Tornado框架實(shí)現(xiàn)異步非阻塞訪問數(shù)據(jù)庫的示例
- Python的Tornado框架實(shí)現(xiàn)圖片上傳及圖片大小修改功能
- Python的Tornado框架的異步任務(wù)與AsyncHTTPClient
- 剖析Python的Tornado框架中session支持的實(shí)現(xiàn)代碼
- python Tornado框架詳解
相關(guān)文章
Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作
今天小編就為大家分享一篇Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01Python實(shí)現(xiàn)的tcp端口檢測(cè)操作示例
這篇文章主要介紹了Python實(shí)現(xiàn)的tcp端口檢測(cè)操作,結(jié)合實(shí)例形式分析了Python使用socket模塊實(shí)現(xiàn)tcp端口檢測(cè)功能的相關(guān)操作技巧,需要的朋友可以參考下2018-07-07使用pycallgraph分析python代碼函數(shù)調(diào)用流程以及框架解析
這篇文章主要介紹了使用pycallgraph分析python代碼函數(shù)調(diào)用流程以及框架解析,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-03-03Python數(shù)據(jù)結(jié)構(gòu)之棧、隊(duì)列的實(shí)現(xiàn)代碼分享
這篇文章主要介紹了Python數(shù)據(jù)結(jié)構(gòu)之棧、隊(duì)列的實(shí)現(xiàn)代碼分享,具有一定參考價(jià)值,需要的朋友可以了解下。2017-12-12詳解Python如何實(shí)現(xiàn)惰性導(dǎo)入-lazy import
如果你的 Python 程序程序有大量的 import,而且啟動(dòng)非常慢,那么你應(yīng)該嘗試懶導(dǎo)入,本文分享一種實(shí)現(xiàn)惰性導(dǎo)入的一種方法,需要的可以參考一下2022-10-10Python網(wǎng)絡(luò)編程之HTTP客戶端模塊urllib與urllib3
這篇文章介紹了Python網(wǎng)絡(luò)編程之HTTP客戶端模塊urllib與urllib3,文中通過示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-05-05matplotlib 生成的圖像中無法顯示中文字符的解決方法
這篇文章主要介紹了matplotlib 生成的圖像中無法顯示中文字符的解決方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06Python Pickling 和 Unpickling 的區(qū)別
Python中的Pickling和Unpickling是與數(shù)據(jù)序列化和反序列化相關(guān)的重要概念,本文主要介紹了Python Pickling和Unpickling的區(qū)別,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11關(guān)于Python 解決Python3.9 pandas.read_excel(‘xxx.xlsx‘)報(bào)錯(cuò)的問題
這篇文章主要介紹了關(guān)于Python 解決Python3.9 pandas.read_excel(‘xxx.xlsx‘)報(bào)錯(cuò)的問題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-11-11