欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python訪問抓取網(wǎng)頁常用命令總結(jié)

 更新時間：2017年04月11日 15:34:37   投稿：lqh  
這篇文章主要介紹了python訪問抓取網(wǎng)頁常用命令的相關(guān)資料,需要的朋友可以參考下

python訪問抓取網(wǎng)頁常用命令

簡單的抓取網(wǎng)頁:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

直接將URL保存為本地文件：

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

POST方式：

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行發(fā)出網(wǎng)頁請求測試"} 
data=urllib.parse.urlencode(values) 

#創(chuàng)建請求對象 
req=urllib.request.Request(url,data) 
#獲得服務(wù)器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

GET方式：

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#創(chuàng)建請求對象 
req=urllib.request.Request(theurl) 
#獲得服務(wù)器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

有2個常用的方法,geturl(),info()

geturl()的設(shè)置是為了辨別是否有服務(wù)器端的網(wǎng)址重定向,而info()則包含了一系列的信息。

中文問題的處理，會用到 encode()編碼 dencode()解碼：

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

相關(guān)文章

  • Python實現(xiàn)快速替換Word文檔中的關(guān)鍵字

    Python實現(xiàn)快速替換Word文檔中的關(guān)鍵字

    使用Python自動化處理Word文檔可以幫助您提高效率，并減少手動處理文檔所需的時間和精力，所以本文為大家準(zhǔn)備了Python快速替換Word文檔中的關(guān)鍵字的方法，希望對大家有所幫助
    2023-06-06
  • 利用Python繪制有趣的萬圣節(jié)南瓜怪效果

    利用Python繪制有趣的萬圣節(jié)南瓜怪效果

    這篇文章主要介紹了用Python繪制有趣的萬圣節(jié)南瓜怪效果，本文實例圖文相結(jié)合給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-10-10
  • Python單元和文檔測試實例詳解

    Python單元和文檔測試實例詳解

    這篇文章主要介紹了Python單元和文檔測試,結(jié)合實例形式分析了Python單元測試模塊unittest及文檔測試模塊doctest相關(guān)使用技巧,需要的朋友可以參考下
    2019-04-04
  • Python實現(xiàn)CNN的多通道輸入實例

    Python實現(xiàn)CNN的多通道輸入實例

    今天小編就為大家分享一篇Python實現(xiàn)CNN的多通道輸入實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-01-01
  • python中heapq堆排算法的實現(xiàn)

    python中heapq堆排算法的實現(xiàn)

    這篇文章主要介紹了python中heapq堆排算法的實現(xiàn)，該模塊提供了堆排序算法的實現(xiàn)。堆是二叉樹，最大堆中父節(jié)點(diǎn)大于或等于兩個子節(jié)點(diǎn)，最小堆父節(jié)點(diǎn)小于或等于兩個子節(jié)點(diǎn)。下面文章更多詳細(xì)介紹，需要的小伙伴可以參考一下
    2022-05-05
  • django中related_name的用法說明

    django中related_name的用法說明

    這篇文章主要介紹了django中related_name的用法說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Python繪圖實現(xiàn)坐標(biāo)軸共享與復(fù)用詳解

    Python繪圖實現(xiàn)坐標(biāo)軸共享與復(fù)用詳解

    這篇文章主要為大家詳細(xì)介紹了Python在繪圖時如何實現(xiàn)坐標(biāo)軸共享與復(fù)用,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2024-02-02
  • pycharm new project變成灰色的解決方法

    pycharm new project變成灰色的解決方法

    今天小編就為大家分享一篇pycharm new project變成灰色的解決方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-06-06
  • Python?文件操作方法總結(jié)

    Python?文件操作方法總結(jié)

    這篇文章主要介紹了Python?文件操作方法總結(jié)，文章基于python的基礎(chǔ)展開Python?文件操作方法，具有一定的參考價值，需要的小伙伴可以參考一下
    2022-05-05
  • Python字典查找數(shù)據(jù)的5個基礎(chǔ)操作方法

    Python字典查找數(shù)據(jù)的5個基礎(chǔ)操作方法

    Python字典是另一種可變?nèi)萜髂Ｐ?且可存儲任意類型對象,如字符串、數(shù)字、元組等其他容器模型,下面這篇文章主要給大家介紹了關(guān)于Python字典查找數(shù)據(jù)的5個基礎(chǔ)操作方法,需要的朋友可以參考下
    2022-06-06

最新評論