欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

10個(gè)python爬蟲入門實(shí)例(小結(jié))

 更新時(shí)間:2020年11月01日 11:59:22   作者:h3zh1  
這篇文章主要介紹了10個(gè)python爬蟲入門實(shí)例(小結(jié)),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

昨天帶伙伴萌學(xué)習(xí)python爬蟲,準(zhǔn)備了幾個(gè)簡(jiǎn)單的入門實(shí)例

涉及主要知識(shí)點(diǎn):

  1. web是如何交互的
  2. requests庫(kù)的get、post函數(shù)的應(yīng)用
  3. response對(duì)象的相關(guān)函數(shù),屬性
  4. python文件的打開,保存

代碼中給出了注釋,并且可以直接運(yùn)行哦

如何安裝requests庫(kù)(安裝好python的朋友可以直接參考,沒有的,建議先裝一哈python環(huán)境)

windows用戶,Linux用戶幾乎一樣:

打開cmd輸入以下命令即可,如果python的環(huán)境在C盤的目錄,會(huì)提示權(quán)限不夠,只需以管理員方式運(yùn)行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用戶類似(ubantu為例): 權(quán)限不夠的話在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1.爬取強(qiáng)大的BD頁(yè)面,打印頁(yè)面信息

# 第一個(gè)爬蟲示例,爬取百度頁(yè)面

import requests #導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://www.baidu.com") #生成一個(gè)response對(duì)象

response.encoding = response.apparent_encoding #設(shè)置編碼格式

print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼

print(response.text)#輸出爬取的信息

2.常用方法之get方法實(shí)例,下面還有傳參實(shí)例

# 第二個(gè)get方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://httpbin.org/get") #get方法

print( response.status_code ) #狀態(tài)碼

print( response.text )

3. 常用方法之post方法實(shí)例,下面還有傳參實(shí)例

# 第三個(gè) post方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.post("http://httpbin.org/post") #post方法訪問(wèn)

print( response.status_code ) #狀態(tài)碼

print( response.text )

4. put方法實(shí)例

# 第四個(gè) put方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.put("http://httpbin.org/put") # put方法訪問(wèn)

print( response.status_code ) #狀態(tài)碼

print( response.text )

5.常用方法之get方法傳參實(shí)例(1)

如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下

# 第五個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

6.常用方法之get方法傳參實(shí)例(2)

params用字典可以傳多個(gè)

# 第六個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

7.常用方法之post方法傳參實(shí)例(2) 和上一個(gè)有沒有很像

# 第七個(gè) post傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

8.關(guān)于繞過(guò)反爬機(jī)制,以zh爸爸為例

# 第好幾個(gè)方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.get( "http://www.zhihu.com") #第一次訪問(wèn)知乎,不設(shè)置頭部信息

print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒寫headers,不能正常爬取,狀態(tài)碼不是 200

#下面是可以正常爬取的區(qū)別,更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#設(shè)置頭部信息,偽裝瀏覽器

response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問(wèn),傳入headers參數(shù),

print( response.status_code ) # 200!訪問(wèn)成功的狀態(tài)碼

print( response.text )

9.爬取信息并保存到本地,因?yàn)槟夸涥P(guān)系,在D盤建立了一個(gè)叫做爬蟲的文件夾,然后保存信息

注意文件保存時(shí)的encoding設(shè)置

# 爬取一個(gè)html并保存

import requests

url = "http://www.baidu.com"

response = requests.get( url )

response.encoding = "utf-8" #設(shè)置接收編碼格式

print("\nr的類型" + str( type(response) ) )

print("\n狀態(tài)碼是:" + str( response.status_code ) )

print("\n頭部信息:" + str( response.headers ) )

print( "\n響應(yīng)內(nèi)容:" )

print( response.text )

#保存文件
file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個(gè)文件,w是文件不存在則新建一個(gè)文件,這里不用wb是因?yàn)椴挥帽4娉啥M(jìn)制

file.write( response.text )

file.close()

10.爬取圖片,保存到本地

#保存百度圖片到本地

import requests #先導(dǎo)入爬蟲的庫(kù),不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應(yīng)

file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個(gè)文件,wb表示以二進(jìn)制格式打開一個(gè)文件只用于寫入

file.write(response.content) #寫入文件

file.close()#關(guān)閉操作,運(yùn)行完畢后去你的目錄看一眼有沒有保存成功

到此這篇關(guān)于10個(gè)python爬蟲入門實(shí)例(小結(jié))的文章就介紹到這了,更多相關(guān)python爬蟲入門內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • python去掉空白行的多種實(shí)現(xiàn)代碼

    python去掉空白行的多種實(shí)現(xiàn)代碼

    這篇文章主要介紹了python去掉空白行實(shí)現(xiàn)代碼,需要的朋友可以參考下
    2018-03-03
  • python調(diào)用OpenCV實(shí)現(xiàn)人臉識(shí)別功能

    python調(diào)用OpenCV實(shí)現(xiàn)人臉識(shí)別功能

    這篇文章主要為大家詳細(xì)介紹了python調(diào)用OpenCV實(shí)現(xiàn)人臉識(shí)別功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-05-05
  • python自動(dòng)化測(cè)試Data?Driven?Testing(DDT)用例解析

    python自動(dòng)化測(cè)試Data?Driven?Testing(DDT)用例解析

    這篇文章主要為大家介紹了python自動(dòng)化測(cè)試Data?Driven?Testing(DDT)用例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-09-09
  • Python利用folium實(shí)現(xiàn)地圖可視化

    Python利用folium實(shí)現(xiàn)地圖可視化

    Folium是建立在Python生態(tài)系統(tǒng)的數(shù)據(jù)整理(Datawrangling)能力和Leaflet.js庫(kù)的映射能力之上的開源庫(kù)。這篇文章主要給大家介紹了關(guān)于如何Python利用folium實(shí)現(xiàn)地圖可視化的相關(guān)資料,需要的朋友可以參考下
    2021-05-05
  • python實(shí)現(xiàn)嵌套列表平鋪的兩種方法

    python實(shí)現(xiàn)嵌套列表平鋪的兩種方法

    今天小編就為大家分享一篇python實(shí)現(xiàn)嵌套列表平鋪的兩種方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-11-11
  • Python3視頻轉(zhuǎn)字符動(dòng)畫的實(shí)例代碼

    Python3視頻轉(zhuǎn)字符動(dòng)畫的實(shí)例代碼

    這篇文章主要介紹了Python3視頻轉(zhuǎn)字符動(dòng)畫的實(shí)例代碼,代碼簡(jiǎn)單易懂,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-08-08
  • 如何給windows設(shè)置定時(shí)任務(wù)并運(yùn)行python腳本

    如何給windows設(shè)置定時(shí)任務(wù)并運(yùn)行python腳本

    這篇文章主要介紹了如何給windows設(shè)置定時(shí)任務(wù)并運(yùn)行python腳本,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-08-08
  • python3.4爬蟲demo

    python3.4爬蟲demo

    今天小編就為大家分享一篇關(guān)于python3.4爬蟲demo,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧
    2019-01-01
  • Python寫的Discuz7.2版faq.php注入漏洞工具

    Python寫的Discuz7.2版faq.php注入漏洞工具

    這篇文章主要介紹了Python寫的Discuz7.2版faq.php注入漏洞工具,全自動(dòng)的一款注入工具,針對(duì)Discuz7.2版,需要的朋友可以參考下
    2014-08-08
  • 基于python模擬TCP3次握手連接及發(fā)送數(shù)據(jù)

    基于python模擬TCP3次握手連接及發(fā)送數(shù)據(jù)

    這篇文章主要介紹了基于python模擬TCP3次握手連接及發(fā)送數(shù)據(jù),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-11-11

最新評(píng)論