欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python 請求服務(wù)器的實現(xiàn)代碼(http請求和https請求)

 更新時間:2018年05月25日 10:28:13   作者:可可_小蝦米  
本篇文章主要介紹了python 請求服務(wù)器的實現(xiàn)代碼(http請求和https請求),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

一、http請求

1、http請求方式:get和post

get一般用于獲取/查詢資源信息,在瀏覽器中直接輸入url+請求參數(shù)點擊enter之后連接成功服務(wù)器就能獲取到的內(nèi)容,post請求一般用于更新資源,通過form表單或者json、xml等其他形式提交給服務(wù)器端,然后等待服務(wù)器端給返回一個結(jié)果的方式(這個返回結(jié)果一般就是被修改之后的是否成功的狀態(tài),或者是修改后的最新數(shù)據(jù)table等)。

http請求,不論是get還是post請求,都會包含幾個部分,分別是header,cookie,get會有param,post會有body。

這個可以通過fiddler里面抓包就可以拿到需要的Headers,一般需要設(shè)置的值可能有:

header = {
 "Host": "x.x.#",
 "Authorization": "Basic: someValue",
 "Content-Type": r"application/json",
 "Connection": "keep-alive",
 "Proxy-Connection": "keep-alive",
 "Cookie": "xxxxxxxxx(備注:這里的具體值請自行填寫,其他key對應(yīng)的值也是一樣)",
 "User-Agent": "360xxxxxx(備注:這里的信息也請自行抓到之后填寫,不需要的話,可以不用填寫)"
 } 

針對正式環(huán)境和測試環(huán)境需要設(shè)置url的地址,以及Header的"Host"中的具體域名的方法如下:

(1)正式環(huán)境:url中的host也設(shè)置成域名,比如:http://%s/search/searchList的%s就替換成 域名,在headers中的"HOST"的鍵對應(yīng)的value也是域名,比如說都是"x.y.#"

(2)測試環(huán)境: url中的host設(shè)置成具體的IP,比如:http://%s/search/searchList的%s就替換成 10.108.225.234這樣的具體IP(備注,這個IP就是你們平時開發(fā)上測試代碼的機(jī)器),但是headers中的"HOST"的鍵對應(yīng)的value必須得寫成域名,比如"x.y.#" 

原因:因為一個IP地址對應(yīng)的服務(wù)器上可能會有多個域名,因為可能會上多個不同業(yè)務(wù)的服務(wù)器代碼,如此會有一個默認(rèn)的域名,但是并不一定是你的這個業(yè)務(wù)對應(yīng)的域名,所以一定要在headers中的"HOST"中指定域名才可以找到這個域名,從而找到其對應(yīng)的接口,進(jìn)行正確的調(diào)用。

進(jìn)一步,對于一個IP地址對應(yīng)的服務(wù)器,其上會有很多域名,這個是如何部署的呢?需要問一下服務(wù)器端的同學(xué),比如說會有x.#和x.y.#,這個是如何進(jìn)行配置的呢?具體原因是使用了nginx的配置:http://www.dbjr.com.cn/article/140826.htm;具體的內(nèi)容就是指:一臺nginx服務(wù)器多域名配置,然后客戶端請求的時候,就能自動根據(jù)這個host找到對應(yīng)的文件目錄,然后找到對應(yīng)處理方法,這個后續(xù)要再詳細(xì)了解一下。

cookie信息都是在headers里面的"Cookie"鍵對應(yīng)的value后面,這個可以通過日志或者抓包得到,注意,抓到的信息一定要原封不動的全部拿來用。

另外,這個cookie信息也可以通過其他方式獲取,比如說,通過登錄接口拿到cookie信息,再將cookie信息設(shè)置到后續(xù)需要的"Cookie"中。

具體的body的值,需要跟服務(wù)器端開發(fā)對應(yīng)一下數(shù)據(jù)的加密方式,目前比較多的都是通過json格式的,需要確認(rèn)的是幾層json,比如我們的開發(fā)同學(xué)搞了兩層json,導(dǎo)致我剛開始的時候就在最外面搞了一層json轉(zhuǎn)換格式,結(jié)果請求的時候一直提示Resopnse 200,但是返回的errorMsg一直是錯誤請求。(備注:首先需要確認(rèn)Response的Status是200的話,就說明已經(jīng)跟服務(wù)器端連接上了,然后如果拿不到正確的數(shù)據(jù),那就要分析是你的數(shù)據(jù)傳送格式不正確,還是缺少了哪些內(nèi)容,導(dǎo)致服務(wù)器端解析不出,或者無法給出你想要的內(nèi)容)

一般的get請求的格式,一個參數(shù)的可能是這樣的:http://xxx/search/YYYY?&kw=123456789,如果是多個參數(shù)的話:http://music.baidu.com/search?fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86,比如像百度音樂的這個url,在?后面都可以添加一個&,然后url其實也可以變成這樣的格式:http://music.baidu.com/search?&fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86,但是實際上訪問get到的都是相同的內(nèi)容,也就是說服務(wù)器端解析的時候,返回的結(jié)果都是相同的內(nèi)容;多個參數(shù),就每個參數(shù)之間加一個&鏈接起來,但是注意,有些值傳的時候可能需要進(jìn)行urlencode編碼,并且一定要在跟服務(wù)器端相同的編碼的基礎(chǔ)上進(jìn)行urlencode編碼(我自己碰到的坑:我的python程序用的編碼方式是:gbk,我們服務(wù)器端的編碼方式是utf-8,我最開始的時候,直接對中文進(jìn)行了urlencode編碼,但是得到的結(jié)果不是想要的,最后才發(fā)現(xiàn)原來我urlencode之后的碼與服務(wù)器端urlencode之后的碼不同,所以當(dāng)然解不出了,那么就decode('gbk').encode('utf-8'),然后得到的內(nèi)容再urlencode,之后才正確。。。所以都是坑)

備注1:需要了解一下get請求在服務(wù)器端是怎么處理的?post請求在服務(wù)器端又是如何處理的?這個需要另開一篇博客專門寫一下。

備注2:關(guān)于編碼方式,以及幾種編碼方式的轉(zhuǎn)換(編碼解碼等),進(jìn)行urlencode的具體方法,在python26的urllib中有urlencode方法,只能對dict進(jìn)行編碼,如果只是對字符串進(jìn)行編碼,需要使用urllib.quote()方法

比如:

>>> import urllib
>>> xx = {'kw': '達(dá)達(dá)'}
>>> urllib.urlencode(xx)
'kw=%B4%EF%B4%EF'
>>> ss =
 File "<stdin>", line 1
 ss =
 ^
SyntaxError: invalid syntax
>>>
>>> ss = '達(dá)達(dá)'
>>> urllib.urlencode(ss)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 File "C:\Python26\lib\urllib.py", line 1255, in urlencode
 raise TypeError
TypeError: not a valid non-string sequence or mapping object
>>> urllib.quote(ss)
'%B4%EF%B4%EF'

查看當(dāng)前處于什么編碼格式:

>>> import sys
>>> sys.getdefaultencoding()
'ascii'

編碼及解碼:

在python中使用decode和encode進(jìn)行編碼和解碼,比如我們get到的str類型是gbk的,那就可以str.decode(''gbk'),之后再encode成我們想要的格式

一般情況下常用的編碼格式主要有:utf8、gbk、gb2312;在python26中默認(rèn)的編碼是ascii,但是在python3.x中默認(rèn)的編碼是utf-8

后面再專門針對編碼這塊做一個大塊的總結(jié)。

2、http請求端口、cookie,以及實現(xiàn)具體的get和post請求

http請求端口默認(rèn)是80,如果不指定的話,默認(rèn)走的就是80,否則就需要指定服務(wù)器端指定listen的端口。

cookie是什么?具體見:http://www.dbjr.com.cn/article/140830.htm,  主要內(nèi)容:有兩個Http頭部和Cookie有關(guān):Set-Cookie和Cookie。Set-Cookie由服務(wù)器發(fā)送,它包含在響應(yīng)請求的頭部中。它用于在客戶端創(chuàng)建一個Cookie。Cookie頭由客戶端發(fā)送,包含在HTTP請求的頭部中。注意,只有cookie的domain和path與請求的URL匹配才會發(fā)送這個cookie。

(1)httplib庫——HTTP protocol client

切記:要從用戶手冊中學(xué)習(xí)!

httplib在python3.0中已經(jīng)更名為http.client了。

class  httplib.HTTPConnection(host[,port[,strict[,timeout]]])

class  httplib.HTTPSConnection(host[,port[,key_file[,cert_file[,strict[,timeout]]]]])          ——這是HTTPConnection的一個子類,使用了SSL,用來跟安全服務(wù)器進(jìn)行通信。默認(rèn)的端口是443。key_file是一個pem格式的包含了密鑰的文件,cert_file是一個pem格式的證書鏈文件。

然后這個httplib的HttpConnection的類調(diào)用之后,能夠得到一個HTTPConnection的instance,就是一個HTTPConnection或者HTTPSConnection的一個對象,比如設(shè)置其名稱為conn,之后利用這個conn的對象就可以繼續(xù)走request(method,url[,body[,headers]])的請求,調(diào)用request方法之后,繼續(xù)調(diào)用conn.getresponse(),然后返回一個HTTPResponse的實例對象,例如為res,然后調(diào)用res.getheaders()方法獲取response的頭部,得到的一個(header,value)的tuple,通過res.status就可以得到狀態(tài)(200為OK,連接上的含義),res.read()就可以得到response的body信息,然后自己再針對body信息的類型,比如是json,就解析出來顯示即可。

具體的使用例子用戶手冊中也說明了:

>>> import httplib
>>> conn = httplib.HTTPConnection("www.python.org")
>>> conn.request("GET", "/index.html")
>>> r1 = conn.getresponse()
>>> print r1.status, r1.reason
301 Moved Permanently
>>> conn.request("GET", "/parrot.spam")
>>> r2 = conn.getresponse()
>>> print r2.status, r2.reason
301 Moved Permanently
>>> conn2 = httplib.HTTPConnection("jia.#")
>>> conn2.request("GET", "/standard.html")
>>> r3 = conn2.getresponse()
>>> print r3.status
200
>>> data = r3.read()
>>> print data
<!Doctype html><html lang="zh-CN"><head>.......

 以上例子中,先用的是用戶手冊的example中的例子,但是因為

以上都是request方法中都是"GET"方法,換成"POST"需要傳的內(nèi)容會有一些差別,如下:

>>> import httplib, urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> headers = {"Content-type": "application/x-www-form-urlencoded",
...  "Accept": "text/plain"}
>>> conn = httplib.HTTPConnection("musi-cal.mojam.com:80")
>>> conn.request("POST", "/cgi-bin/query", params, headers)
>>> response = conn.getresponse()
>>> print response.status, response.reason
200 OK
>>> data = response.read()
>>> conn.close()

備注:以上代碼也是運(yùn)行不通過的,因為是比較久遠(yuǎn)的python版本的例子,主要需要注意的是:需要自己設(shè)置headers,在其中根據(jù)需要傳遞Cookie、Content-Type、Accept等信息,通過key-value的形式傳遞,具體的body中傳遞的信息,要注意是json格式的,還是通過urlencode編碼等,格式一定要跟開發(fā)溝通清楚,否則會有錯誤請求的問題,之后得到response,并獲取response的status、body、headers就與前面的"GET"method一樣了。

(2)request庫

request庫是python的第三方庫,官方文檔地址:http://www.python-requests.org/en/master/user/quickstart/#make-a-request

get請求:

>>> r = requests.get('http://httpbin.org/get')
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "origin": "218.30
.116.9", \n "url": "http://httpbin.org/get"\n}\n'

post請求:

>>> r = requests.post('http://httpbin.org/post', data={'key':'value'})
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "key": "value"\n }, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Content-Length": "9"
, \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "json": null, \n "origin": "218.30.116.185", \n "url":
 "http://httpbin.org/post"\n}\n'

我這里用的還是httplib的,request的后續(xù)有詳細(xì)使用教程會補(bǔ)充上來。

二、https請求

1、https的請求方式:get和post

http和https的區(qū)別:

(1)url的前面是https://而不是http://,使用ssl進(jìn)行加密/身份認(rèn)證,并且http的默認(rèn)端口是80,https的默認(rèn)端口是443。

(2)因為有ssl的認(rèn)證和加密,所以具體的底層的通信過程中會有不同,https的這一層在建立連接的時候,需要設(shè)置socket屬性,socket屬性的生成需要使用具體的方法調(diào)用,方法調(diào)用的參數(shù)需要指定:ca_certs=服務(wù)器端給提供的公鑰證書即可。

然后如果還有客戶端認(rèn)證的話,那客戶端也可以提供出自己的key_file,cert_file。

什么是ssl?

ssl的全稱是(Secure Sockets Layer)安全套接層,另外還有TLS(Transport Layer Secure,傳輸層安全),這兩種協(xié)議都是為網(wǎng)絡(luò)提供安全和數(shù)據(jù)完整性的一種安全協(xié)議,在傳輸層對網(wǎng)絡(luò)連接進(jìn)行加密。

為什么要用這個?

防止數(shù)據(jù)以及網(wǎng)絡(luò)連接的傳輸內(nèi)容被截獲,所以涉及到個人或者重要的信息等,都需要進(jìn)行建立ssl連接,通過https的請求方式加密處理。

2、https請求端口、ssl建立,以及實現(xiàn)具體的get和post請求

post請求:

 httpsConn = None 

 try: 
 httpsConn = httplib.HTTPSConnection(host)
 sock = socket.create_connection((httpsConn.host, httpsConn.port))
 try:
  httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3)
  #self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3)
 except ssl.SSLError, e:
  print("Trying SSLv3.")
  try:
  httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv23)
  #self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv23)
  except ssl.SSLError, e:
  print("Trying SSLv23.")
  try:
   httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_TLSv1)
  except ssl.SSLError, e:
   print("Trying TLSv1.")
   try:
   httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv2)
   except ssl.SSLError, e:
   print("Trying SSLv2.") 
 
 httpsConn.request("POST", path, body, headers)
 res = httpsConn.getresponse()
 headers = {}
 for k, v in res.getheaders():
  headers[k] = v
 return res.status, headers, res.read()
 except Exception, e:
 import traceback
 print traceback.format_exc()
 return e
 finally:
 if httpsConn:
  httpsConn.close

備注:

因為是客戶端證書,所以沒有使用注釋的代碼:#self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3),這個程序中需要指定客戶端的私鑰密鑰的文件,如果只有服務(wù)器端有私鑰,客戶端有公鑰,則客戶端的程序需要指定公鑰文件,見代碼:httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3),是通過ca_certs參數(shù)指定的,CERT_FILE是文件的路徑,保證能夠找到即可;如果是是一個文件夾下有多個文件,然后這多個文件都是需要用到的,比如A域名的證書和B域名的證書,A服務(wù)器在對接口處理請求的時候,會向B端發(fā)請求,如此客戶端需要將A域名證書和B域名證書都添加進(jìn)來,所以只要把文件夾路徑設(shè)置成ca_certs參數(shù)的值即可。

另外,如果不確定SSL的版本,則需要嘗試多個不同的SSL版本:ssl.PROTOCOL_TLSv1、ssl_version=ssl.PROTOCOL_SSLv2、ssl_version=ssl.PROTOCOL_SSLv23、ssl_version=ssl.PROTOCOL_SSLv3。

get請求的話,就將httpsConn.request("POST", path, body, headers)中的"POST"換成"GET"就好了,然后body設(shè)置為None即可。

3、ssl建立的過程中需要使用的證書(證書格式、證書生成、證書轉(zhuǎn)換)、什么是服務(wù)器端/客戶端校驗?私鑰公鑰的概念

服務(wù)器端會有私鑰和公鑰,公鑰會拿出來提供給客戶端,在python的具體程序中,分別是key_file和cert_file,其中cert_file要提供給客戶端。

python-cookbook中對建立ssl的連接的講解見:http://python3-cookbook.readthedocs.io/zh_CN/latest/c11/p10_add_ssl_to_network_services.html

以下是服務(wù)器端代碼:

from socket import socket, AF_INET, SOCK_STREAM
import ssl

KEYFILE = 'server_key.pem' # Private key of the server
CERTFILE = 'server_cert.pem' # Server certificate (given to client)

def echo_client(s):
 while True:
 data = s.recv(8192)
 if data == b'':
  break
 s.send(data)
 s.close()
 print('Connection closed')

def echo_server(address):
 s = socket(AF_INET, SOCK_STREAM)
 s.bind(address)
 s.listen(1)

 # Wrap with an SSL layer requiring client certs
 s_ssl = ssl.wrap_socket(s,
    keyfile=KEYFILE,
    certfile=CERTFILE,
    server_side=True
    )
 # Wait for connections
 while True:
 try:
  c,a = s_ssl.accept()
  print('Got connection', c, a)
  echo_client(c)
 except Exception as e:
  print('{}: {}'.format(e.__class__.__name__, e))

echo_server(('', 20000))

之后是客戶端連接服務(wù)器端的例子:

>>> from socket import socket, AF_INET, SOCK_STREAM
>>> import ssl
>>> s = socket(AF_INET, SOCK_STREAM)
>>> s_ssl = ssl.wrap_socket(s,
  cert_reqs=ssl.CERT_REQUIRED,
  ca_certs = 'server_cert.pem')
>>> s_ssl.connect(('localhost', 20000))
>>> s_ssl.send(b'Hello World?')
12
>>> s_ssl.recv(8192)
b'Hello World?'
>>>

備注:其中 ssl.wrap_socket(s,cert_reqs=ssl.CERT_REQUIRED,ca_certs = 'server_cert.pem') 的ca_certs就是需要在客戶端指定的證書,這個是服務(wù)器給的公鑰證書。

證書的格式:一般有der格式、pem格式,且格式不能單純通過后綴名去進(jìn)行判定,比如一個后綴名是crt,就認(rèn)為其不是pem的格式是錯誤的。

證書轉(zhuǎn)換:講解證書轉(zhuǎn)換的url地址:http://netkiller.github.io/cryptography/openssl/format.html

可以通過OpenSSL(OpenSSL的安裝:http://www.dbjr.com.cn/softjc/575021.html)來生成證書、以及進(jìn)行證書的格式轉(zhuǎn)換,比如將der轉(zhuǎn)成pem格式,或者將pem轉(zhuǎn)成der格式的。如果你不確定你的證書的格式,可以將兩種轉(zhuǎn)換都嘗試一下,因為如果原本就是pem格式的,希望通過der轉(zhuǎn)成pem格式的命令調(diào)用之后,會有錯誤產(chǎn)生。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 詳解Python判定IP地址合法性的三種方法

    詳解Python判定IP地址合法性的三種方法

    這篇文章主要介紹了詳解Python判定IP地址合法性的三種方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-03-03
  • Keras - GPU ID 和顯存占用設(shè)定步驟

    Keras - GPU ID 和顯存占用設(shè)定步驟

    這篇文章主要介紹了Keras - GPU ID 和顯存占用設(shè)定步驟,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Pandas如何提取單元格中的文字并進(jìn)行切片處理

    Pandas如何提取單元格中的文字并進(jìn)行切片處理

    這篇文章主要介紹了Pandas如何提取單元格中的文字并進(jìn)行切片處理方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • python中的空值判斷和空字符串判斷方式

    python中的空值判斷和空字符串判斷方式

    這篇文章主要介紹了python中的空值判斷和空字符串判斷方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-11-11
  • python中利用Future對象異步返回結(jié)果示例代碼

    python中利用Future對象異步返回結(jié)果示例代碼

    future是一種對象,表示異步執(zhí)行的操作。下面這篇文章主要給大家介紹了關(guān)于python中利用Future對象異步返回結(jié)果的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-09-09
  • Python編程中的異常處理教程

    Python編程中的異常處理教程

    這篇文章主要介紹了Python編程中的異常處理教程,是Python入門學(xué)習(xí)中的基礎(chǔ)知識,需要的朋友可以參考下
    2015-08-08
  • opencv實現(xiàn)簡單人臉識別

    opencv實現(xiàn)簡單人臉識別

    這篇文章主要為大家詳細(xì)介紹了opencv實現(xiàn)簡單人臉識別,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-08-08
  • Python功能鍵的讀取方法

    Python功能鍵的讀取方法

    這篇文章主要介紹了Python功能鍵的讀取方法,涉及Python鍵盤事件的相關(guān)操作技巧,需要的朋友可以參考下
    2015-05-05
  • selenium WebDriverWait類等待機(jī)制的實現(xiàn)

    selenium WebDriverWait類等待機(jī)制的實現(xiàn)

    這篇文章主要介紹了selenium WebDriverWait類等待機(jī)制的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-03-03
  • PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法

    PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法

    這篇文章主要介紹了PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06

最新評論