10個python爬蟲入門實例(小結(jié))
昨天帶伙伴萌學(xué)習(xí)python爬蟲,準(zhǔn)備了幾個簡單的入門實例
涉及主要知識點:
- web是如何交互的
- requests庫的get、post函數(shù)的應(yīng)用
- response對象的相關(guān)函數(shù),屬性
- python文件的打開,保存
代碼中給出了注釋,并且可以直接運行哦
如何安裝requests庫(安裝好python的朋友可以直接參考,沒有的,建議先裝一哈python環(huán)境)
windows用戶,Linux用戶幾乎一樣:
打開cmd輸入以下命令即可,如果python的環(huán)境在C盤的目錄,會提示權(quán)限不夠,只需以管理員方式運行cmd窗口
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
Linux用戶類似(ubantu為例): 權(quán)限不夠的話在命令前加入sudo即可
sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
1.爬取強大的BD頁面,打印頁面信息
# 第一個爬蟲示例,爬取百度頁面 import requests #導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.get("http://www.baidu.com") #生成一個response對象 response.encoding = response.apparent_encoding #設(shè)置編碼格式 print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼 print(response.text)#輸出爬取的信息
2.常用方法之get方法實例,下面還有傳參實例
# 第二個get方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.get("http://httpbin.org/get") #get方法 print( response.status_code ) #狀態(tài)碼 print( response.text )
3. 常用方法之post方法實例,下面還有傳參實例
# 第三個 post方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.post("http://httpbin.org/post") #post方法訪問 print( response.status_code ) #狀態(tài)碼 print( response.text )
4. put方法實例
# 第四個 put方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.put("http://httpbin.org/put") # put方法訪問 print( response.status_code ) #狀態(tài)碼 print( response.text )
5.常用方法之get方法傳參實例(1)
如果需要傳多個參數(shù)只需要用&符號連接即可如下
# 第五個 get傳參方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參 print( response.status_code ) #狀態(tài)碼 print( response.text )
6.常用方法之get方法傳參實例(2)
params用字典可以傳多個
# 第六個 get傳參方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) data = { "name":"hezhi", "age":20 } response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參 print( response.status_code ) #狀態(tài)碼 print( response.text )
7.常用方法之post方法傳參實例(2) 和上一個有沒有很像
# 第七個 post傳參方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) data = { "name":"hezhi", "age":20 } response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參 print( response.status_code ) #狀態(tài)碼 print( response.text )
8.關(guān)于繞過反爬機制,以zh爸爸為例
# 第好幾個方法實例 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.get( "http://www.zhihu.com") #第一次訪問知乎,不設(shè)置頭部信息 print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒寫headers,不能正常爬取,狀態(tài)碼不是 200 #下面是可以正常爬取的區(qū)別,更改了User-Agent字段 headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36" }#設(shè)置頭部信息,偽裝瀏覽器 response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數(shù), print( response.status_code ) # 200!訪問成功的狀態(tài)碼 print( response.text )
9.爬取信息并保存到本地,因為目錄關(guān)系,在D盤建立了一個叫做爬蟲的文件夾,然后保存信息
注意文件保存時的encoding設(shè)置
# 爬取一個html并保存 import requests url = "http://www.baidu.com" response = requests.get( url ) response.encoding = "utf-8" #設(shè)置接收編碼格式 print("\nr的類型" + str( type(response) ) ) print("\n狀態(tài)碼是:" + str( response.status_code ) ) print("\n頭部信息:" + str( response.headers ) ) print( "\n響應(yīng)內(nèi)容:" ) print( response.text ) #保存文件 file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個文件,w是文件不存在則新建一個文件,這里不用wb是因為不用保存成二進制 file.write( response.text ) file.close()
10.爬取圖片,保存到本地
#保存百度圖片到本地 import requests #先導(dǎo)入爬蟲的庫,不然調(diào)用不了爬蟲的函數(shù) response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應(yīng) file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個文件,wb表示以二進制格式打開一個文件只用于寫入 file.write(response.content) #寫入文件 file.close()#關(guān)閉操作,運行完畢后去你的目錄看一眼有沒有保存成功
到此這篇關(guān)于10個python爬蟲入門實例(小結(jié))的文章就介紹到這了,更多相關(guān)python爬蟲入門內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python調(diào)用OpenCV實現(xiàn)人臉識別功能
這篇文章主要為大家詳細介紹了python調(diào)用OpenCV實現(xiàn)人臉識別功能,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-05-05python自動化測試Data?Driven?Testing(DDT)用例解析
這篇文章主要為大家介紹了python自動化測試Data?Driven?Testing(DDT)用例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09如何給windows設(shè)置定時任務(wù)并運行python腳本
這篇文章主要介紹了如何給windows設(shè)置定時任務(wù)并運行python腳本,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-08-08Python寫的Discuz7.2版faq.php注入漏洞工具
這篇文章主要介紹了Python寫的Discuz7.2版faq.php注入漏洞工具,全自動的一款注入工具,針對Discuz7.2版,需要的朋友可以參考下2014-08-08基于python模擬TCP3次握手連接及發(fā)送數(shù)據(jù)
這篇文章主要介紹了基于python模擬TCP3次握手連接及發(fā)送數(shù)據(jù),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11