python爬蟲(chóng)獲取百度首頁(yè)內(nèi)容教學(xué)
由傳智播客教程整理，我們這里使用的是python2.7.x版本，就是2.7之后的版本，因?yàn)閜ython3的改動(dòng)略大，我們這里不用它。現(xiàn)在我們嘗試一下url和網(wǎng)絡(luò)爬蟲(chóng)配合的關(guān)系，爬瀏覽器首頁(yè)信息。
1、首先我們創(chuàng)建一個(gè)urllib2_test01.py，然后輸入以下代碼：
2、最簡(jiǎn)單的獲取一個(gè)url的信息代碼居然只需要4行，執(zhí)行寫(xiě)的python代碼：
3、之后我們會(huì)看到一下的結(jié)果
4、實(shí)際上，如果我們?cè)跒g覽器上打開(kāi)網(wǎng)頁(yè)主頁(yè)的話，右鍵選擇“查看源代碼”，你會(huì)發(fā)現(xiàn)，跟我們剛打印出來(lái)的是一模一樣的。也就是說(shuō)，上面的4行代碼就已經(jīng)幫我們把百度的首頁(yè)和全部代碼爬了下來(lái)了 。
5、下面我們介紹一下這四行代碼，第一行如下圖，這個(gè)就是將urllib2組件進(jìn)入進(jìn)來(lái)，供給我們使用。
6、圖片下面這步驟是調(diào)用urllib2庫(kù)中的urlopen方法，該方法接受一個(gè)url地址，然后將請(qǐng)求后的得到的回應(yīng)封裝到一個(gè)叫respones對(duì)象當(dāng)中。
7、最后這里，是調(diào)用response對(duì)象的read（）方法，將請(qǐng)求的回應(yīng)內(nèi)容以字符串的形式給html變量。最后的print html就是將字符串打出來(lái)，所以說(shuō)一個(gè)基本的url請(qǐng)求是對(duì)應(yīng)的python代碼是很簡(jiǎn)單的。
總結(jié)：以上就是關(guān)于利用python爬蟲(chóng)獲取百度信息的步驟內(nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。
- python 爬取百度文庫(kù)并下載(免費(fèi)文章限定)
- Python實(shí)現(xiàn)的爬取百度文庫(kù)功能示例
- 用python下載百度文庫(kù)的代碼
- python 爬蟲(chóng)如何實(shí)現(xiàn)百度翻譯
- 詳解用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息
- Python爬蟲(chóng)爬取百度搜索內(nèi)容代碼實(shí)例
- Python爬蟲(chóng)實(shí)現(xiàn)百度翻譯功能過(guò)程詳解
- python 爬蟲(chóng)百度地圖的信息界面的實(shí)現(xiàn)方法
- python爬蟲(chóng)之爬取百度音樂(lè)的實(shí)現(xiàn)方法
- Python爬蟲(chóng)實(shí)現(xiàn)爬取百度百科詞條功能實(shí)例
- Python爬蟲(chóng)實(shí)現(xiàn)百度圖片自動(dòng)下載
- Python爬蟲(chóng)實(shí)例_利用百度地圖API批量獲取城市所有的POI點(diǎn)
- python實(shí)現(xiàn)百度文庫(kù)自動(dòng)化爬取
相關(guān)文章
Python 解析pymysql模塊操作數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了Python 解析pymysql模塊操作數(shù)據(jù)庫(kù)的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
Python免費(fèi)驗(yàn)證碼識(shí)別之ddddocr識(shí)別OCR自動(dòng)庫(kù)實(shí)現(xiàn)
在Python爬蟲(chóng)過(guò)程中,有些網(wǎng)站需要驗(yàn)證碼通過(guò)后方可進(jìn)入網(wǎng)頁(yè),目的很簡(jiǎn)單,就是區(qū)分是人閱讀訪問(wèn)還是機(jī)器爬蟲(chóng),下面這篇文章主要給大家介紹了關(guān)于Python免費(fèi)驗(yàn)證碼識(shí)別之ddddocr識(shí)別OCR自動(dòng)庫(kù)實(shí)現(xiàn)的相關(guān)資料,需要的朋友可以參考下2022-02-02
python 6.7 編寫(xiě)printTable()函數(shù)表格打印(完整代碼)
這篇文章主要介紹了python 6.7 編寫(xiě)一個(gè)名為printTable()的函數(shù) 表格打印，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
基于jupyter代碼無(wú)法在pycharm中運(yùn)行的解決方法
這篇文章主要介紹了基于jupyter代碼無(wú)法在pycharm中運(yùn)行的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
這篇文章主要介紹了Python中使用matplotlib庫(kù)繪制各種圖方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
基于asyncio 異步協(xié)程框架實(shí)現(xiàn)收集B站直播彈幕
本文給大家分享的是基于asyncio 異步協(xié)程框架實(shí)現(xiàn)收集B站直播彈幕收集系統(tǒng)的簡(jiǎn)單設(shè)計(jì)，并附上源碼，有需要的小伙伴可以參考下2016-09-09
Python基于多線程實(shí)現(xiàn)ping掃描功能示例
這篇文章主要介紹了Python基于多線程實(shí)現(xiàn)ping掃描功能,結(jié)合實(shí)例形式分析了Python多線程與進(jìn)程相關(guān)模塊調(diào)用操作技巧,需要的朋友可以參考下2018-07-07
python ddt數(shù)據(jù)驅(qū)動(dòng)最簡(jiǎn)實(shí)例代碼
在本篇內(nèi)容里我們給大家分享了關(guān)于python ddt數(shù)據(jù)驅(qū)動(dòng)最簡(jiǎn)實(shí)例代碼以及相關(guān)知識(shí)點(diǎn)，需要的朋友們跟著學(xué)習(xí)下。2019-02-02
基于python實(shí)現(xiàn)音樂(lè)播放器代碼實(shí)例
這篇文章主要介紹了基于python實(shí)現(xiàn)音樂(lè)播放器代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
jenkins+python自動(dòng)化測(cè)試持續(xù)集成教程
這篇文章主要介紹了jenkins+python自動(dòng)化測(cè)試持續(xù)集成教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05