python構建基礎的爬蟲教學
爬蟲具有域名切換、信息收集以及信息存儲功能。
這里講述如何構建基礎的爬蟲架構。
1、urllib庫：包含從網絡請求數據、處理cookie、改變請求頭和用戶處理元數據的函數。是python標準庫.urlopen用于打開讀取一個從網絡獲取的遠程對象。能輕松讀取HTML文件、圖像文件及其他文件流。
2、beautifulsoup庫：通過定位HTML標簽格式化和組織復雜的網絡信息，用python對象展現XML結構信息。不是標準庫，可用pip安裝。常用的對象是BeautifulSoup對象。
1、基礎爬蟲
爬蟲需要首先import對象，然后打開網址，使用BeautifulSoup對網頁內容進行讀取。
2、使用print輸出打開的網址的內容。
3、從輸出中可以看出內容的結構為：
4、輸出內容中的html-body-h1的內容可使用四種語句。
5、BeautifulSoup可提取HTML、XML文件的任意節(jié)點的信息，只需要目標信息旁邊或附近有標記。
1、Error在運行代碼時，經常會出現錯誤，看懂錯誤出現的原因才能解決存在的問題。
2、在html=urlopen('')中會發(fā)生兩種錯誤：網頁在服務器上不存在或服務器不存在。
3、網頁在服務器上不存在會出現HTTPError，可使用try語句進行處理。
當程序返回HTTPError錯誤代碼時，會顯示錯誤內容。
4、服務器不存在時，urlopen會返回None.
可使用判斷語句進行檢測。
調用的標簽不存在會出現None，調用不存在的標簽下的子標簽，就會出現AttributeError錯誤。
總結：以上就是關于python構建基礎的爬蟲的基礎步驟內容，感謝大家的閱讀和對腳本之家的支持。
相關文章
這篇文章主要介紹了python獲取文件擴展名的方法,涉及Python針對文件路徑的相關操作技巧,非常簡單實用,需要的朋友可以參考下2015-07-07
gltf是類似于stl、obj、ply等常見的3D對象存儲格式,它被設計出來是為了便于渲染的數據轉換和傳輸,本文為大家介紹了使用Python和C++解析gltf文件的方法,感興趣的可以了解下2023-09-09
這篇文章主要介紹了python如何實現b站直播自動發(fā)送彈幕，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-02-02
python出現更新庫失敗A?new?release?of?pip?is?available:?23.0.
學習了Python我們知道它自帶了很多的庫,同時我們還需要對某個庫進行升級,這篇文章主要給大家介紹了關于python出現更新庫失敗A?new?release?of?pip?is?available:?23.0.1?-＞?23.3的解決辦法,需要的朋友可以參考下2024-03-03
利用Django框架中select_related和prefetch_related函數對數據庫查詢優(yōu)化
這篇文章主要介紹了利用Python的Django框架中select_related和prefetch_related函數對數據庫查詢的優(yōu)化的一個實踐例子,展示如何在實際中利用這兩個函數減少對數據庫的查詢次數,需要的朋友可以參考下2015-04-04
python3.4下django集成使用xadmin后臺的方法
本篇文章主要介紹了python3.4下django集成使用xadmin后臺的方法，具有一定的參加價值，有興趣的可以了解一下2017-08-08
今天小編就為大家分享一篇python異常處理和日志處理方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了python爬蟲之利用selenium模塊自動登錄CSDN,文中有非常詳細的代碼示例,對正在學習python的小伙伴們有很好地幫助,需要的朋友可以參考下2021-04-04
本篇文章給大家介紹了python中的字典，包括字典的操作，字典函數實現代碼，需要的朋友參考下吧2018-01-01
這篇文章主要介紹了Python 日期與時間轉換的方法，文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-08-08