欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python中使用urllib2偽造HTTP報頭的2個方法

 更新時間:2014年07月07日 10:43:58   投稿:junjie  
這篇文章主要介紹了python中使用urllib2偽造HTTP報頭的2個方法,即偽造http頭信息,需要的朋友可以參考下

在采集網(wǎng)頁信息的時候,經(jīng)常需要偽造報頭來實現(xiàn)采集腳本的有效執(zhí)行

下面,我們將使用urllib2的header部分偽造報頭來實現(xiàn)采集信息

方法1、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
#抓取網(wǎng)頁內(nèi)容-發(fā)送報頭-1
url= "http://www.dbjr.com.cn"
send_headers = {
 'Host':'www.dbjr.com.cn',
 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 'Connection':'keep-alive'
}
 
req = urllib2.Request(url,headers=send_headers)
r = urllib2.urlopen(req)
 
html = r.read()        #返回網(wǎng)頁內(nèi)容
receive_header = r.info()     #返回的報頭信息
 
# sys.getfilesystemencoding() 
html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #轉(zhuǎn)碼:避免輸出出現(xiàn)亂碼 
 
print receive_header
# print '####################################'
print html

方法2、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
url = 'http://www.dbjr.com.cn'
 
req = urllib2.Request(url)
req.add_header('Referer','http://www.dbjr.com.cn/')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')
r = urllib2.urlopen(req)
 
html = r.read()
receive_header = r.info()
 
html = html.decode('utf-8').encode(sys.getfilesystemencoding())
 
print receive_header
print '#####################################'
print html

相關(guān)文章

  • python實現(xiàn)掃雷小游戲

    python實現(xiàn)掃雷小游戲

    這篇文章主要為大家詳細介紹了python實現(xiàn)掃雷小游戲,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-04-04
  • python 命令行傳參方法總結(jié)

    python 命令行傳參方法總結(jié)

    這篇文章主要介紹了python 命令行傳參方法總結(jié),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • python使用for循環(huán)計算0-100的整數(shù)的和方法

    python使用for循環(huán)計算0-100的整數(shù)的和方法

    今天小編就為大家分享一篇python使用for循環(huán)計算0-100的整數(shù)的和方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-02-02
  • Python中八大圖像特效算法的示例詳解

    Python中八大圖像特效算法的示例詳解

    圖像特效處理是基于圖像像素數(shù)據(jù)特征,將原圖像進行一定步驟的計算——例如像素作差、灰度變換、顏色通道融合等,從而達到期望的效果。本文將為大家介紹八種常用的圖像特效算法,需要的可以參考一下
    2022-03-03
  • 利用Python獲取操作系統(tǒng)信息實例

    利用Python獲取操作系統(tǒng)信息實例

    作為一個運維人員,經(jīng)常需要獲取系統(tǒng)的的各種信息,使用python會很方便幫助獲得,這篇文章運用實例告訴大家如何利用Python來獲取操作系統(tǒng)的信息,有需要的可以參考借鑒。
    2016-09-09
  • Python錯誤的處理方法

    Python錯誤的處理方法

    這篇文章主要介紹了Python錯誤的處理方法,文中代碼非常詳細,幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下
    2020-06-06
  • python如何判斷IP地址合法性

    python如何判斷IP地址合法性

    這篇文章主要為大家詳細介紹了python如何判斷IP地址合法性,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-04-04
  • 基于Python制作公交車站查詢系統(tǒng)

    基于Python制作公交車站查詢系統(tǒng)

    這篇文章主要介紹了如何利用Python制作一個簡單的公交車站查詢系統(tǒng)。文中的示例代碼講解詳細,對我們學(xué)習(xí)Python有一定的幫助,需要的可以參考一下
    2022-01-01
  • 詳解Python裝飾器由淺入深

    詳解Python裝飾器由淺入深

    裝飾器的功能在很多語言中都有,名字也不盡相同,其實它體現(xiàn)的是一種設(shè)計模式,強調(diào)的是開放封閉原則,更多的用于后期功能升級而不是編寫新的代碼。本文盡量描述得淺顯易懂,從最基礎(chǔ)的內(nèi)容講起。
    2016-12-12
  • Python的哈希hashlib模塊詳細解讀

    Python的哈希hashlib模塊詳細解讀

    這篇文章主要介紹了Python的哈希hashlib模塊詳細解讀,hashlib是一個提供字符加密功能的模塊,包含MD5和SHA的加密算法,具體支持md5,sha1, sha224, sha256, sha384, sha512等算法, 該模塊在用戶登錄認證方面應(yīng)用廣泛,對文本加密也很常見,需要的朋友可以參考下
    2023-09-09

最新評論