欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python中使用socket發(fā)送HTTP請求數(shù)據(jù)接收不完整問題解決方法

 更新時間：2015年02月04日 09:38:26   投稿：junjie  
這篇文章主要介紹了Python中使用socket發(fā)送HTTP請求數(shù)據(jù)接收不完整問題解決方法,本文使用一個循環(huán)解決了數(shù)據(jù)不完整問題,需要的朋友可以參考下

由于工作的需求，需要用python做一個類似網(wǎng)絡(luò)爬蟲的采集器。雖然Python的urllib模塊提供更加方便簡潔操作，但是涉及到一些底層的需求，如手動設(shè)定User-Agent,Referer等，所以選擇了直接用socket進(jìn)行設(shè)計。當(dāng)然，這樣的話，需要對HTTP協(xié)議比較熟悉，HTTP協(xié)議這里就不做講解了。整個python的代碼如下:

#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1\n")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("Accept-Encoding:gzip,deflate,sdch\n")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")
se.send("Cache-Control:max-age=0\n")
se.send("Connection:keep-alive\n")
se.send("Host:"+host+"\r\n")
se.send("Referer:http://www.baidu.com/\n")
se.send("user-agent: Googlebot\n\n")
print se.recv(1024)

代碼運(yùn)行正常，但是發(fā)現(xiàn)一個比較重要的問題,運(yùn)行結(jié)果只返回了HTTP的頭部信息，網(wǎng)頁的內(nèi)容則沒有被返回。網(wǎng)上查找了很多資料，一無所獲,經(jīng)過一夜的思考，突然想到了一個問題，有可能我請求的資源非常大，一個網(wǎng)絡(luò)的IP包的大小，它是受很多因素制約的，最典型的便是MTU（最大傳輸單元），那么會不會我請求的數(shù)據(jù)被分割了，HTTP的頭部信息只是一部分，其它數(shù)據(jù)還在傳輸或者緩沖區(qū)呢？于是做了這樣一個遍歷:

while True:
  buf = se.recv(1024)
  if not len(buf):
    break
  print buf

這樣發(fā)現(xiàn)所有請求的數(shù)據(jù)均被返回了，看來要想做好網(wǎng)絡(luò)編程，深入理解TCP/IP協(xié)議是非常必要的。

相關(guān)文章

最新評論