欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python3使用requests包抓取并保存網(wǎng)頁源碼的方法

 更新時間：2016年03月15日 11:50:18   作者：小談博客  
這篇文章主要介紹了Python3使用requests包抓取并保存網(wǎng)頁源碼的方法,實(shí)例分析了Python3環(huán)境下requests模塊的相關(guān)使用技巧,需要的朋友可以參考下

本文實(shí)例講述了Python3使用requests包抓取并保存網(wǎng)頁源碼的方法。分享給大家供大家參考，具體如下：

使用Python 3的requests模塊抓取網(wǎng)頁源碼并保存到文件示例：

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

這是一個基本的文件保存操作，但這里有幾個值得注意的問題：

1.安裝requests包，命令行輸入pip install requests即可自動安裝。很多人推薦使用requests，自帶的urllib.request也可以抓取網(wǎng)頁源碼

2.open方法encoding參數(shù)設(shè)為utf-8，否則保存的文件會出現(xiàn)亂碼。

3.如果直接在cmd中輸出抓取的內(nèi)容，會提示各種編碼錯誤，所以保存到文件查看。

4.with open方法是更好的寫法，可以自動操作完畢后釋放資源。

另一個例子：

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

這是演示讀取一個txt文件，每次讀取一行，并保存到另一個txt文件中的示例。

因?yàn)樵诿钚兄写蛴∶看巫x取一行的數(shù)據(jù)，中文會出現(xiàn)編碼錯誤，所以每次讀取一行并保存到另一個文件，這樣來測試讀取是否正常。（注意open的時候制定encoding編碼方式）

轉(zhuǎn)自：小談博客 http://www.tantengvip.com/2015/05/requests-html/

希望本文所述對大家Python程序設(shè)計有所幫助。

相關(guān)文章

  • Python getattr()函數(shù)使用方法代碼實(shí)例

    Python getattr()函數(shù)使用方法代碼實(shí)例

    這篇文章主要介紹了Python getattr()函數(shù)使用方法代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-08-08
  • Python出現(xiàn)segfault錯誤解決方法

    Python出現(xiàn)segfault錯誤解決方法

    這篇文章主要介紹了Python出現(xiàn)segfault錯誤解決方法,分析了系統(tǒng)日志提示segfault錯誤的原因與對應(yīng)的解決方法,需要的朋友可以參考下
    2016-04-04
  • Python寫了個疫情信息快速查看工具實(shí)例代碼

    Python寫了個疫情信息快速查看工具實(shí)例代碼

    本次使用PyQt5開發(fā)了一款疫情信息快速查看工具，實(shí)現(xiàn)了多個數(shù)據(jù)源的查看，代碼量不大，功能相當(dāng)于瀏覽器，只是限定了一些特定網(wǎng)址，這篇文章主要介紹了Python寫了個疫情信息快速查看工具,需要的朋友可以參考下
    2022-11-11
  • 使用python繪制溫度變化雷達(dá)圖

    使用python繪制溫度變化雷達(dá)圖

    這篇文章主要為大家介紹了使用python繪制溫度變化雷達(dá)圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2019-10-10
  • Python雙向循環(huán)鏈表實(shí)現(xiàn)方法分析

    Python雙向循環(huán)鏈表實(shí)現(xiàn)方法分析

    這篇文章主要介紹了Python雙向循環(huán)鏈表,結(jié)合實(shí)例形式分析了Python雙向鏈表的定義、遍歷、添加、刪除、搜索等相關(guān)操作技巧,需要的朋友可以參考下
    2018-07-07
  • selenium+超級鷹實(shí)現(xiàn)模擬登錄12306

    selenium+超級鷹實(shí)現(xiàn)模擬登錄12306

    這篇文章主要介紹了selenium+超級鷹實(shí)現(xiàn)模擬登錄12306，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Python常用庫大全及簡要說明

    Python常用庫大全及簡要說明

    本文為大家羅列了Python開發(fā)的常用庫和各個庫的簡要說明以及Python開發(fā)工具，包管理，環(huán)境管理等其它常用資源和Python學(xué)習(xí)資料
    2020-01-01
  • Python+wxPython實(shí)現(xiàn)個人鏈接收藏夾

    Python+wxPython實(shí)現(xiàn)個人鏈接收藏夾

    這篇文章主要介紹了如何使用wxPython和XML數(shù)據(jù)源創(chuàng)建一個具有按鈕和Web視圖的應(yīng)用程序窗口，以便輕松管理和訪問各種網(wǎng)頁鏈接，感興趣的可以了解下
    2023-08-08
  • Python中將字典轉(zhuǎn)換為XML以及相關(guān)的命名空間解析

    Python中將字典轉(zhuǎn)換為XML以及相關(guān)的命名空間解析

    這篇文章主要介紹了Python中將字典轉(zhuǎn)換為XML以及相關(guān)的命名空間解析,包括使用字典創(chuàng)建XML等知識,需要的朋友可以參考下
    2015-10-10
  • python實(shí)現(xiàn)定時任務(wù)的多種方式詳解

    python實(shí)現(xiàn)定時任務(wù)的多種方式詳解

    Python社區(qū)提供了多種庫來實(shí)現(xiàn)定時任務(wù),下面這篇文章主要給大家介紹了關(guān)于python實(shí)現(xiàn)定時任務(wù)的多種方式,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2025-05-05

最新評論