python 請求服務(wù)器的實現(xiàn)代碼(http請求和https請求)
一、http請求
1、http請求方式:get和post
get一般用于獲取/查詢資源信息,在瀏覽器中直接輸入url+請求參數(shù)點擊enter之后連接成功服務(wù)器就能獲取到的內(nèi)容,post請求一般用于更新資源,通過form表單或者json、xml等其他形式提交給服務(wù)器端,然后等待服務(wù)器端給返回一個結(jié)果的方式(這個返回結(jié)果一般就是被修改之后的是否成功的狀態(tài),或者是修改后的最新數(shù)據(jù)table等)。
http請求,不論是get還是post請求,都會包含幾個部分,分別是header,cookie,get會有param,post會有body。
這個可以通過fiddler里面抓包就可以拿到需要的Headers,一般需要設(shè)置的值可能有:
header = { "Host": "x.x.#", "Authorization": "Basic: someValue", "Content-Type": r"application/json", "Connection": "keep-alive", "Proxy-Connection": "keep-alive", "Cookie": "xxxxxxxxx(備注:這里的具體值請自行填寫,其他key對應(yīng)的值也是一樣)", "User-Agent": "360xxxxxx(備注:這里的信息也請自行抓到之后填寫,不需要的話,可以不用填寫)" }
針對正式環(huán)境和測試環(huán)境需要設(shè)置url的地址,以及Header的"Host"中的具體域名的方法如下:
(1)正式環(huán)境:url中的host也設(shè)置成域名,比如:http://%s/search/searchList的%s就替換成 域名,在headers中的"HOST"的鍵對應(yīng)的value也是域名,比如說都是"x.y.#"
(2)測試環(huán)境: url中的host設(shè)置成具體的IP,比如:http://%s/search/searchList的%s就替換成 10.108.225.234這樣的具體IP(備注,這個IP就是你們平時開發(fā)上測試代碼的機(jī)器),但是headers中的"HOST"的鍵對應(yīng)的value必須得寫成域名,比如"x.y.#"
原因:因為一個IP地址對應(yīng)的服務(wù)器上可能會有多個域名,因為可能會上多個不同業(yè)務(wù)的服務(wù)器代碼,如此會有一個默認(rèn)的域名,但是并不一定是你的這個業(yè)務(wù)對應(yīng)的域名,所以一定要在headers中的"HOST"中指定域名才可以找到這個域名,從而找到其對應(yīng)的接口,進(jìn)行正確的調(diào)用。
進(jìn)一步,對于一個IP地址對應(yīng)的服務(wù)器,其上會有很多域名,這個是如何部署的呢?需要問一下服務(wù)器端的同學(xué),比如說會有x.#和x.y.#,這個是如何進(jìn)行配置的呢?具體原因是使用了nginx的配置:http://www.dbjr.com.cn/article/140826.htm;具體的內(nèi)容就是指:一臺nginx服務(wù)器多域名配置,然后客戶端請求的時候,就能自動根據(jù)這個host找到對應(yīng)的文件目錄,然后找到對應(yīng)處理方法,這個后續(xù)要再詳細(xì)了解一下。
cookie信息都是在headers里面的"Cookie"鍵對應(yīng)的value后面,這個可以通過日志或者抓包得到,注意,抓到的信息一定要原封不動的全部拿來用。
另外,這個cookie信息也可以通過其他方式獲取,比如說,通過登錄接口拿到cookie信息,再將cookie信息設(shè)置到后續(xù)需要的"Cookie"中。
具體的body的值,需要跟服務(wù)器端開發(fā)對應(yīng)一下數(shù)據(jù)的加密方式,目前比較多的都是通過json格式的,需要確認(rèn)的是幾層json,比如我們的開發(fā)同學(xué)搞了兩層json,導(dǎo)致我剛開始的時候就在最外面搞了一層json轉(zhuǎn)換格式,結(jié)果請求的時候一直提示Resopnse 200,但是返回的errorMsg一直是錯誤請求。(備注:首先需要確認(rèn)Response的Status是200的話,就說明已經(jīng)跟服務(wù)器端連接上了,然后如果拿不到正確的數(shù)據(jù),那就要分析是你的數(shù)據(jù)傳送格式不正確,還是缺少了哪些內(nèi)容,導(dǎo)致服務(wù)器端解析不出,或者無法給出你想要的內(nèi)容)
一般的get請求的格式,一個參數(shù)的可能是這樣的:http://xxx/search/YYYY?&kw=123456789,如果是多個參數(shù)的話:http://music.baidu.com/search?fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86,比如像百度音樂的這個url,在?后面都可以添加一個&,然后url其實也可以變成這樣的格式:http://music.baidu.com/search?&fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86,但是實際上訪問get到的都是相同的內(nèi)容,也就是說服務(wù)器端解析的時候,返回的結(jié)果都是相同的內(nèi)容;多個參數(shù),就每個參數(shù)之間加一個&鏈接起來,但是注意,有些值傳的時候可能需要進(jìn)行urlencode編碼,并且一定要在跟服務(wù)器端相同的編碼的基礎(chǔ)上進(jìn)行urlencode編碼(我自己碰到的坑:我的python程序用的編碼方式是:gbk,我們服務(wù)器端的編碼方式是utf-8,我最開始的時候,直接對中文進(jìn)行了urlencode編碼,但是得到的結(jié)果不是想要的,最后才發(fā)現(xiàn)原來我urlencode之后的碼與服務(wù)器端urlencode之后的碼不同,所以當(dāng)然解不出了,那么就decode('gbk').encode('utf-8'),然后得到的內(nèi)容再urlencode,之后才正確。。。所以都是坑)
備注1:需要了解一下get請求在服務(wù)器端是怎么處理的?post請求在服務(wù)器端又是如何處理的?這個需要另開一篇博客專門寫一下。
備注2:關(guān)于編碼方式,以及幾種編碼方式的轉(zhuǎn)換(編碼解碼等),進(jìn)行urlencode的具體方法,在python26的urllib中有urlencode方法,只能對dict進(jìn)行編碼,如果只是對字符串進(jìn)行編碼,需要使用urllib.quote()方法
比如:
>>> import urllib >>> xx = {'kw': '達(dá)達(dá)'} >>> urllib.urlencode(xx) 'kw=%B4%EF%B4%EF' >>> ss = File "<stdin>", line 1 ss = ^ SyntaxError: invalid syntax >>> >>> ss = '達(dá)達(dá)' >>> urllib.urlencode(ss) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python26\lib\urllib.py", line 1255, in urlencode raise TypeError TypeError: not a valid non-string sequence or mapping object >>> urllib.quote(ss) '%B4%EF%B4%EF'
查看當(dāng)前處于什么編碼格式:
>>> import sys >>> sys.getdefaultencoding() 'ascii'
編碼及解碼:
在python中使用decode和encode進(jìn)行編碼和解碼,比如我們get到的str類型是gbk的,那就可以str.decode(''gbk'),之后再encode成我們想要的格式
一般情況下常用的編碼格式主要有:utf8、gbk、gb2312;在python26中默認(rèn)的編碼是ascii,但是在python3.x中默認(rèn)的編碼是utf-8
后面再專門針對編碼這塊做一個大塊的總結(jié)。
2、http請求端口、cookie,以及實現(xiàn)具體的get和post請求
http請求端口默認(rèn)是80,如果不指定的話,默認(rèn)走的就是80,否則就需要指定服務(wù)器端指定listen的端口。
cookie是什么?具體見:http://www.dbjr.com.cn/article/140830.htm, 主要內(nèi)容:有兩個Http頭部和Cookie有關(guān):Set-Cookie和Cookie。Set-Cookie由服務(wù)器發(fā)送,它包含在響應(yīng)請求的頭部中。它用于在客戶端創(chuàng)建一個Cookie。Cookie頭由客戶端發(fā)送,包含在HTTP請求的頭部中。注意,只有cookie的domain和path與請求的URL匹配才會發(fā)送這個cookie。
(1)httplib庫——HTTP protocol client
切記:要從用戶手冊中學(xué)習(xí)!
httplib在python3.0中已經(jīng)更名為http.client了。
class httplib.HTTPConnection(host[,port[,strict[,timeout]]])
class httplib.HTTPSConnection(host[,port[,key_file[,cert_file[,strict[,timeout]]]]]) ——這是HTTPConnection的一個子類,使用了SSL,用來跟安全服務(wù)器進(jìn)行通信。默認(rèn)的端口是443。key_file是一個pem格式的包含了密鑰的文件,cert_file是一個pem格式的證書鏈文件。
然后這個httplib的HttpConnection的類調(diào)用之后,能夠得到一個HTTPConnection的instance,就是一個HTTPConnection或者HTTPSConnection的一個對象,比如設(shè)置其名稱為conn,之后利用這個conn的對象就可以繼續(xù)走request(method,url[,body[,headers]])的請求,調(diào)用request方法之后,繼續(xù)調(diào)用conn.getresponse(),然后返回一個HTTPResponse的實例對象,例如為res,然后調(diào)用res.getheaders()方法獲取response的頭部,得到的一個(header,value)的tuple,通過res.status就可以得到狀態(tài)(200為OK,連接上的含義),res.read()就可以得到response的body信息,然后自己再針對body信息的類型,比如是json,就解析出來顯示即可。
具體的使用例子用戶手冊中也說明了:
>>> import httplib >>> conn = httplib.HTTPConnection("www.python.org") >>> conn.request("GET", "/index.html") >>> r1 = conn.getresponse() >>> print r1.status, r1.reason 301 Moved Permanently >>> conn.request("GET", "/parrot.spam") >>> r2 = conn.getresponse() >>> print r2.status, r2.reason 301 Moved Permanently >>> conn2 = httplib.HTTPConnection("jia.#") >>> conn2.request("GET", "/standard.html") >>> r3 = conn2.getresponse() >>> print r3.status 200 >>> data = r3.read() >>> print data <!Doctype html><html lang="zh-CN"><head>.......
以上例子中,先用的是用戶手冊的example中的例子,但是因為
以上都是request方法中都是"GET"方法,換成"POST"需要傳的內(nèi)容會有一些差別,如下: 備注:以上代碼也是運(yùn)行不通過的,因為是比較久遠(yuǎn)的python版本的例子,主要需要注意的是:需要自己設(shè)置headers,在其中根據(jù)需要傳遞Cookie、Content-Type、Accept等信息,通過key-value的形式傳遞,具體的body中傳遞的信息,要注意是json格式的,還是通過urlencode編碼等,格式一定要跟開發(fā)溝通清楚,否則會有錯誤請求的問題,之后得到response,并獲取response的status、body、headers就與前面的"GET"method一樣了。 (2)request庫 request庫是python的第三方庫,官方文檔地址:http://www.python-requests.org/en/master/user/quickstart/#make-a-request get請求: post請求: 我這里用的還是httplib的,request的后續(xù)有詳細(xì)使用教程會補(bǔ)充上來。 二、https請求 1、https的請求方式:get和post http和https的區(qū)別: (1)url的前面是https://而不是http://,使用ssl進(jìn)行加密/身份認(rèn)證,并且http的默認(rèn)端口是80,https的默認(rèn)端口是443。 (2)因為有ssl的認(rèn)證和加密,所以具體的底層的通信過程中會有不同,https的這一層在建立連接的時候,需要設(shè)置socket屬性,socket屬性的生成需要使用具體的方法調(diào)用,方法調(diào)用的參數(shù)需要指定:ca_certs=服務(wù)器端給提供的公鑰證書即可。 然后如果還有客戶端認(rèn)證的話,那客戶端也可以提供出自己的key_file,cert_file。 什么是ssl? ssl的全稱是(Secure Sockets Layer)安全套接層,另外還有TLS(Transport Layer Secure,傳輸層安全),這兩種協(xié)議都是為網(wǎng)絡(luò)提供安全和數(shù)據(jù)完整性的一種安全協(xié)議,在傳輸層對網(wǎng)絡(luò)連接進(jìn)行加密。 為什么要用這個? 防止數(shù)據(jù)以及網(wǎng)絡(luò)連接的傳輸內(nèi)容被截獲,所以涉及到個人或者重要的信息等,都需要進(jìn)行建立ssl連接,通過https的請求方式加密處理。 2、https請求端口、ssl建立,以及實現(xiàn)具體的get和post請求 post請求: 備注: 因為是客戶端證書,所以沒有使用注釋的代碼:#self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3),這個程序中需要指定客戶端的私鑰密鑰的文件,如果只有服務(wù)器端有私鑰,客戶端有公鑰,則客戶端的程序需要指定公鑰文件,見代碼:httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3),是通過ca_certs參數(shù)指定的,CERT_FILE是文件的路徑,保證能夠找到即可;如果是是一個文件夾下有多個文件,然后這多個文件都是需要用到的,比如A域名的證書和B域名的證書,A服務(wù)器在對接口處理請求的時候,會向B端發(fā)請求,如此客戶端需要將A域名證書和B域名證書都添加進(jìn)來,所以只要把文件夾路徑設(shè)置成ca_certs參數(shù)的值即可。 另外,如果不確定SSL的版本,則需要嘗試多個不同的SSL版本:ssl.PROTOCOL_TLSv1、ssl_version=ssl.PROTOCOL_SSLv2、ssl_version=ssl.PROTOCOL_SSLv23、ssl_version=ssl.PROTOCOL_SSLv3。 get請求的話,就將httpsConn.request("POST", path, body, headers)中的"POST"換成"GET"就好了,然后body設(shè)置為None即可。 3、ssl建立的過程中需要使用的證書(證書格式、證書生成、證書轉(zhuǎn)換)、什么是服務(wù)器端/客戶端校驗?私鑰公鑰的概念 服務(wù)器端會有私鑰和公鑰,公鑰會拿出來提供給客戶端,在python的具體程序中,分別是key_file和cert_file,其中cert_file要提供給客戶端。 python-cookbook中對建立ssl的連接的講解見:http://python3-cookbook.readthedocs.io/zh_CN/latest/c11/p10_add_ssl_to_network_services.html : 以下是服務(wù)器端代碼: 之后是客戶端連接服務(wù)器端的例子: 備注:其中 ssl.wrap_socket(s,cert_reqs=ssl.CERT_REQUIRED,ca_certs = 'server_cert.pem') 的ca_certs就是需要在客戶端指定的證書,這個是服務(wù)器給的公鑰證書。 證書的格式:一般有der格式、pem格式,且格式不能單純通過后綴名去進(jìn)行判定,比如一個后綴名是crt,就認(rèn)為其不是pem的格式是錯誤的。 證書轉(zhuǎn)換:講解證書轉(zhuǎn)換的url地址:http://netkiller.github.io/cryptography/openssl/format.html 可以通過OpenSSL(OpenSSL的安裝:http://www.dbjr.com.cn/softjc/575021.html)來生成證書、以及進(jìn)行證書的格式轉(zhuǎn)換,比如將der轉(zhuǎn)成pem格式,或者將pem轉(zhuǎn)成der格式的。如果你不確定你的證書的格式,可以將兩種轉(zhuǎn)換都嘗試一下,因為如果原本就是pem格式的,希望通過der轉(zhuǎn)成pem格式的命令調(diào)用之后,會有錯誤產(chǎn)生。 以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
>>> import httplib, urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> headers = {"Content-type": "application/x-www-form-urlencoded",
... "Accept": "text/plain"}
>>> conn = httplib.HTTPConnection("musi-cal.mojam.com:80")
>>> conn.request("POST", "/cgi-bin/query", params, headers)
>>> response = conn.getresponse()
>>> print response.status, response.reason
200 OK
>>> data = response.read()
>>> conn.close()
>>> r = requests.get('http://httpbin.org/get')
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "origin": "218.30
.116.9", \n "url": "http://httpbin.org/get"\n}\n'
>>> r = requests.post('http://httpbin.org/post', data={'key':'value'})
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "key": "value"\n }, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Content-Length": "9"
, \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "json": null, \n "origin": "218.30.116.185", \n "url":
"http://httpbin.org/post"\n}\n'
httpsConn = None
try:
httpsConn = httplib.HTTPSConnection(host)
sock = socket.create_connection((httpsConn.host, httpsConn.port))
try:
httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3)
#self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3)
except ssl.SSLError, e:
print("Trying SSLv3.")
try:
httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv23)
#self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv23)
except ssl.SSLError, e:
print("Trying SSLv23.")
try:
httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_TLSv1)
except ssl.SSLError, e:
print("Trying TLSv1.")
try:
httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv2)
except ssl.SSLError, e:
print("Trying SSLv2.")
httpsConn.request("POST", path, body, headers)
res = httpsConn.getresponse()
headers = {}
for k, v in res.getheaders():
headers[k] = v
return res.status, headers, res.read()
except Exception, e:
import traceback
print traceback.format_exc()
return e
finally:
if httpsConn:
httpsConn.close
from socket import socket, AF_INET, SOCK_STREAM
import ssl
KEYFILE = 'server_key.pem' # Private key of the server
CERTFILE = 'server_cert.pem' # Server certificate (given to client)
def echo_client(s):
while True:
data = s.recv(8192)
if data == b'':
break
s.send(data)
s.close()
print('Connection closed')
def echo_server(address):
s = socket(AF_INET, SOCK_STREAM)
s.bind(address)
s.listen(1)
# Wrap with an SSL layer requiring client certs
s_ssl = ssl.wrap_socket(s,
keyfile=KEYFILE,
certfile=CERTFILE,
server_side=True
)
# Wait for connections
while True:
try:
c,a = s_ssl.accept()
print('Got connection', c, a)
echo_client(c)
except Exception as e:
print('{}: {}'.format(e.__class__.__name__, e))
echo_server(('', 20000))
>>> from socket import socket, AF_INET, SOCK_STREAM
>>> import ssl
>>> s = socket(AF_INET, SOCK_STREAM)
>>> s_ssl = ssl.wrap_socket(s,
cert_reqs=ssl.CERT_REQUIRED,
ca_certs = 'server_cert.pem')
>>> s_ssl.connect(('localhost', 20000))
>>> s_ssl.send(b'Hello World?')
12
>>> s_ssl.recv(8192)
b'Hello World?'
>>>
相關(guān)文章
python中利用Future對象異步返回結(jié)果示例代碼
future是一種對象,表示異步執(zhí)行的操作。下面這篇文章主要給大家介紹了關(guān)于python中利用Future對象異步返回結(jié)果的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。2017-09-09selenium WebDriverWait類等待機(jī)制的實現(xiàn)
這篇文章主要介紹了selenium WebDriverWait類等待機(jī)制的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法
這篇文章主要介紹了PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06