詳談python http長連接客戶端

更新時間：2017年06月12日 08:30:39 投稿：jingxian

下面小編就為大家?guī)硪黄斦刾ython http長連接客戶端。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

背景：

線上機器，需要過濾access日志，發(fā)送給另外一個api

期初是單進程，效率太低，改為多進程發(fā)送后，查看日志中偶爾會出現(xiàn)異常錯誤（忘記截圖了。。。）

總之就是端口不夠用了報錯

原因：

每一條日志都是一次請求發(fā)送給api，短連接產(chǎn)生大量time_wait狀態(tài)，占用了大量端口

這種高并發(fā)導致的大量time_wait狀態(tài)內(nèi)核調(diào)優(yōu)基本是沒用的，后來改為長連接解決問題

第一版短連接版本關(guān)鍵代碼如下

因涉及具體業(yè)務(wù)信息，只貼出了關(guān)鍵部分代碼

import pycurl
where True:
 url=myqueue.get()
 send_msg=pycurl.Curl()
 send_msg.setopt(pycurl.URL,url)
 send_msg.perform()
 print send_msg.getinfo(send_msg.HTTP_CODE)

修改后長連接版本如下：

采用requests庫

import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
 url=myqueue.get()
 r=client.get(url,headers=headers)
 print r.status_code

以上這篇詳談python http長連接客戶端就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python實現(xiàn)socket+threading處理多連接的方法
今天小編就為大家分享一篇python實現(xiàn)socket+threading處理多連接的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
Python下載懶人圖庫JavaScript特效
本文給大家分享的是使用Python 爬蟲抓取懶人圖庫的JS腳本特效模板的代碼，使用了第三方庫gevent來實現(xiàn)，有需要的小伙伴可以參考下。
2015-05-05
使用django-guardian實現(xiàn)django-admin的行級權(quán)限控制的方法
這篇文章主要介紹了使用django-guardian實現(xiàn)django-admin的行級權(quán)限控制的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-10-10
python模塊導入方式淺析步驟
這篇文章主要為大家介紹了python中模塊導入的方式，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-10-10
pycharm 使用心得（九）解決No Python interpreter selected的問題
PyCharm 是由JetBrains打造的一款 Python IDE。具有智能代碼編輯器，能理解 Python 的特性并提供卓越的生產(chǎn)力推進工具：自動代碼格式化、代碼完成、重構(gòu)、自動導入和一鍵代碼導航等。這些功能在先進代碼分析程序的支持下，使 PyCharm 成為 Python 專業(yè)開發(fā)人員和剛起步人員使用的有力工具。
2014-06-06
Python ZipFile模塊詳解
Python壓縮和解壓縮的使用方法詳解，zipfile里有兩個非常重要的class, 分別是ZipFile和ZipInfo。
2013-11-11
Python在游戲中的熱更新實現(xiàn)
本文主要介紹了Python在游戲中的熱更新實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-10-10
如何通過Python3和ssl實現(xiàn)加密通信功能
這篇文章主要介紹了如何通過Python3和ssl實現(xiàn)加密通信功能,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-05-05
Python通過PIL獲取圖片主要顏色并和顏色庫進行對比的方法
這篇文章主要介紹了Python通過PIL獲取圖片主要顏色并和顏色庫進行對比的方法,實例分析了Python通過PIL模塊操作圖片的技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-03-03
python使用回溯算法實現(xiàn)列表全排列
這篇文章主要介紹了python使用回溯算法實現(xiàn)列表全排列,研究的問題是輸入列表L（不含重復元素）,輸出L的全排列,全排列問題,可以用回溯法解決,需要的朋友可以參考下
2023-11-11