10個(gè)python爬蟲(chóng)入門(mén)基礎(chǔ)代碼實(shí)例 + 1個(gè)簡(jiǎn)單的python爬蟲(chóng)完整實(shí)例

更新時(shí)間：2020年12月16日 11:58:34 投稿：WDC

這篇文章主要介紹了10個(gè)python爬蟲(chóng)入門(mén)基礎(chǔ)代碼實(shí)例和1個(gè)簡(jiǎn)單的python爬蟲(chóng)爬蟲(chóng)貼吧圖片的實(shí)例,需要的朋友可以參考下

本文主要涉及python爬蟲(chóng)知識(shí)點(diǎn):

web是如何交互的

requests庫(kù)的get、post函數(shù)的應(yīng)用

response對(duì)象的相關(guān)函數(shù)，屬性

python文件的打開(kāi)，保存

代碼中給出了注釋?zhuān)⑶铱梢灾苯舆\(yùn)行哦

如何安裝requests庫(kù)(安裝好python的朋友可以直接參考，沒(méi)有的，建議先裝一哈python環(huán)境)

windows用戶，Linux用戶幾乎一樣:

打開(kāi)cmd輸入以下命令即可，如果python的環(huán)境在C盤(pán)的目錄，會(huì)提示權(quán)限不夠，只需以管理員方式運(yùn)行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用戶類(lèi)似(ubantu為例): 權(quán)限不夠的話在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

python爬蟲(chóng)入門(mén)基礎(chǔ)代碼實(shí)例如下

1.Requests爬取BD頁(yè)面并打印頁(yè)面信息

# 第一個(gè)爬蟲(chóng)示例,爬取百度頁(yè)面
import requests #導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://www.baidu.com") #生成一個(gè)response對(duì)象
response.encoding = response.apparent_encoding #設(shè)置編碼格式
print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼
print(response.text)#輸出爬取的信息

2.Requests常用方法之get方法實(shí)例，下面還有傳參實(shí)例

# 第二個(gè)get方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://httpbin.org/get") #get方法
print( response.status_code ) #狀態(tài)碼
print( response.text )

3. Requests常用方法之post方法實(shí)例，下面還有傳參實(shí)例

# 第三個(gè) post方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.post("http://httpbin.org/post") #post方法訪問(wèn)
print( response.status_code ) #狀態(tài)碼
print( response.text )

4. Requests put方法實(shí)例

# 第四個(gè) put方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.put("http://httpbin.org/put") # put方法訪問(wèn)
print( response.status_code ) #狀態(tài)碼
print( response.text )

5.Requests常用方法之get方法傳參實(shí)例(1)

如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下

# 第五個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

6.Requests常用方法之get方法傳參實(shí)例(2)

params用字典可以傳多個(gè)

# 第六個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

7.Requests常用方法之post方法傳參實(shí)例(2) 和上一個(gè)有沒(méi)有很像

# 第七個(gè) post傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )

8.關(guān)于繞過(guò)反爬機(jī)制，以知呼為例

# 第好幾個(gè)方法實(shí)例
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get( "http://www.zhihu.com") #第一次訪問(wèn)知乎，不設(shè)置頭部信息
print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒(méi)寫(xiě)headers，不能正常爬取，狀態(tài)碼不是 200
#下面是可以正常爬取的區(qū)別，更改了User-Agent字段
headers = {
		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#設(shè)置頭部信息,偽裝瀏覽器
response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問(wèn),傳入headers參數(shù)，
print( response.status_code ) # 200！訪問(wèn)成功的狀態(tài)碼
print( response.text )

9.爬取信息并保存到本地

因?yàn)槟夸涥P(guān)系，在D盤(pán)建立了一個(gè)叫做爬蟲(chóng)的文件夾，然后保存信息

注意文件保存時(shí)的encoding設(shè)置

# 爬取一個(gè)html并保存
import requests
url = "http://www.baidu.com"
response = requests.get( url )
response.encoding = "utf-8" #設(shè)置接收編碼格式
print("\nr的類(lèi)型" + str( type(response) ) )
print("\n狀態(tài)碼是:" + str( response.status_code ) )
print("\n頭部信息:" + str( response.headers ) )
print( "\n響應(yīng)內(nèi)容:" )
print( response.text )

#保存文件
file = open("D:\\爬蟲(chóng)\\baidu.html","w",encoding="utf") #打開(kāi)一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制
file.write( response.text )
file.close()

10.爬取圖片，保存到本地

#保存百度圖片到本地
import requests #先導(dǎo)入爬蟲(chóng)的庫(kù)，不然調(diào)用不了爬蟲(chóng)的函數(shù)
response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應(yīng)
file = open("D:\\爬蟲(chóng)\\baidu_logo.gif","wb") #打開(kāi)一個(gè)文件,wb表示以二進(jìn)制格式打開(kāi)一個(gè)文件只用于寫(xiě)入
file.write(response.content) #寫(xiě)入文件
file.close()#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒(méi)有保存成功

下面是一個(gè)完整的python爬蟲(chóng)實(shí)例，功能是爬取百度貼吧上的圖片并下載到本地；

你也可以關(guān)注公眾號(hào) Python客棧 回復(fù) 756 獲取完整代碼;

掃描上面二維碼關(guān)注公眾號(hào) Python客棧 回復(fù) 756 獲取完整python爬蟲(chóng)源碼

python爬蟲(chóng)主要操作步驟：

獲取網(wǎng)頁(yè)html文本內(nèi)容；

分析html中圖片的html標(biāo)簽特征，用正則解析出所有的圖片url鏈接列表；

根據(jù)圖片的url鏈接列表將圖片下載到本地文件夾中。

1. urllib+re實(shí)現(xiàn)

#!/usr/bin/python
# coding:utf-8
# 實(shí)現(xiàn)一個(gè)簡(jiǎn)單的爬蟲(chóng)，爬取百度貼吧圖片
import urllib
import re

# 根據(jù)url獲取網(wǎng)頁(yè)html內(nèi)容
def getHtmlContent(url):
  page = urllib.urlopen(url)
  return page.read()

# 從html中解析出所有jpg圖片的url
# 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...>
def getJPGs(html):
  # 解析jpg圖片url的正則
  jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個(gè)'width'是為了提高匹配精確度
  # 解析出jpg的url列表
  jpgs = re.findall(jpgReg,html)
  
  return jpgs

# 用圖片url下載圖片并保存成制定文件名
def downloadJPG(imgUrl,fileName):
  urllib.urlretrieve(imgUrl,fileName)
  
# 批量下載圖片，默認(rèn)保存到當(dāng)前目錄下
def batchDownloadJPGs(imgUrls,path = './'):
  # 用于給圖片命名
  count = 1
  for url in imgUrls:
    downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
    count = count + 1

# 封裝：從百度貼吧網(wǎng)頁(yè)下載圖片
def download(url):
  html = getHtmlContent(url)
  jpgs = getJPGs(html)
  batchDownloadJPGs(jpgs)
  
def main():
  url = 'http://tieba.baidu.com/p/2256306796'
  download(url)
  
if __name__ == '__main__':
  main()

運(yùn)行上面腳本，過(guò)幾秒種之后完成下載，可以在當(dāng)前目錄下看到圖片已經(jīng)下載好了：

2. requests + re實(shí)現(xiàn)

下面用requests庫(kù)實(shí)現(xiàn)下載，把getHtmlContent和downloadJPG函數(shù)都用requests重新實(shí)現(xiàn)。

#!/usr/bin/python
# coding:utf-8
# 實(shí)現(xiàn)一個(gè)簡(jiǎn)單的爬蟲(chóng)，爬取百度貼吧圖片
import requests
import re

# 根據(jù)url獲取網(wǎng)頁(yè)html內(nèi)容
def getHtmlContent(url):
  page = requests.get(url)
  return page.text

# 從html中解析出所有jpg圖片的url
# 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...>
def getJPGs(html):
  # 解析jpg圖片url的正則
  jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個(gè)'width'是為了提高匹配精確度
  # 解析出jpg的url列表
  jpgs = re.findall(jpgReg,html)
  
  return jpgs

# 用圖片url下載圖片并保存成制定文件名
def downloadJPG(imgUrl,fileName):
  # 可自動(dòng)關(guān)閉請(qǐng)求和響應(yīng)的模塊
  from contextlib import closing
  with closing(requests.get(imgUrl,stream = True)) as resp:
    with open(fileName,'wb') as f:
      for chunk in resp.iter_content(128):
        f.write(chunk)
  
# 批量下載圖片，默認(rèn)保存到當(dāng)前目錄下
def batchDownloadJPGs(imgUrls,path = './'):
  # 用于給圖片命名
  count = 1
  for url in imgUrls:
    downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
    print '下載完成第{0}張圖片'.format(count)
    count = count + 1

# 封裝：從百度貼吧網(wǎng)頁(yè)下載圖片
def download(url):
  html = getHtmlContent(url)
  jpgs = getJPGs(html)
  batchDownloadJPGs(jpgs)
  
def main():
  url = 'http://tieba.baidu.com/p/2256306796'
  download(url)
  
if __name__ == '__main__':
  main()

上面介紹的10個(gè)python爬蟲(chóng)入門(mén)基礎(chǔ)代碼實(shí)例和1個(gè)簡(jiǎn)單的python爬蟲(chóng)完整實(shí)例雖然都是基礎(chǔ)知識(shí)但python爬蟲(chóng)的主要操作方法也是這些，掌握這些python爬蟲(chóng)就學(xué)會(huì)一大半了。更多關(guān)于python爬蟲(chóng)的文章請(qǐng)查看下面的相關(guān)羅拉

您可能感興趣的文章: