如題，首先當(dāng)然是要打開京東的手機(jī)頁面

因?yàn)橐@取不同頁面的所有手機(jī)圖片，所以我們要跳轉(zhuǎn)到不同頁面觀察頁面地址的規(guī)律，這里觀察第二頁頁面

由觀察可以得到，第二頁的鏈接地址很有可能是

https://list.jd.com/list.html?cat=9987,653,655&page=2

那么對(duì)應(yīng)第n頁的地址就是

https://list.jd.com/list.html?cat=9987,653,655&page=n

我們就可以利用這個(gè)規(guī)律在編程的時(shí)候打開自己想要獲取的頁面了

接著我們查看頁面的源代碼，觀察圖片鏈接的規(guī)律

我們使用在源代碼的頁面使用ctrl+f查找，然后在查找框里面輸入頁面第一臺(tái)手機(jī)的名字 “vivo X9s 全網(wǎng)通 4GB+64GB 玫瑰金 移動(dòng)” 快速定位到圖片鏈接附近的代碼，便于后面編程對(duì)圖片范圍進(jìn)行篩選

可以看到，上圖的畫紅線的三個(gè)部分，<div id="plist" 在這一頁中是唯一出現(xiàn)的一個(gè)元素，而且離圖片鏈接比較近，所以可以作為篩選頁面的開頭位置

<img width=“220”……這個(gè)是手機(jī)圖片的信息，我們要獲取的是后面

//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg

這個(gè)鏈接，但是觀察發(fā)現(xiàn)后面也有一個(gè)圖片鏈接

img data-sku="5291744" width="25" height="25" class="loading-style2" src="http://img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"

這個(gè)很明顯不是我們要找的手機(jī)圖片鏈接

所以我們要使用正則表達(dá)式將真正的圖片鏈接篩選出來，觀察發(fā)現(xiàn)這兩個(gè)圖片鏈接的區(qū)別在于手機(jī)圖片鏈接里面含有n7元素，而另外一個(gè)圖片鏈接含有n9元素，這樣子我們的正則表達(dá)式就可以表示為pat2 = '//.+?/n7/.+?\.jpg'

接著我們要找到這個(gè)頁面最后一張手機(jī)圖片的位置，方便找出可以作為篩選頁面的結(jié)束位置，方法和上面類似，在源代碼搜索框輸入 小米（MI） 紅米Note4X 手機(jī) 香檳金 全網(wǎng)通 3GB+32GB 定位到頁面最后一張圖片位置

可以看到，下面<div class="page clearfix">在該頁面中是唯一的，而且比較接近最后一張手機(jī)圖片附近的鏈接，所以可以作為篩選結(jié)尾位置的元素，其實(shí)篩選的元素只要滿足唯一并且接近我們要獲取的目標(biāo)，那么也可以作為我們要選取的元素

經(jīng)過上面準(zhǔn)備之后，我們得出了大概的思路

1首先進(jìn)行第一次篩選，使用正則表達(dá)式pat1 = '<div id="plist".+<div class="page clearfix">'將圖片鏈接的范圍大概篩選出來

2然后進(jìn)行第二次篩選，使用正則表達(dá)式pat2 = '//.+?/n7/.+?\.jpg'將手機(jī)圖片鏈接篩選出來

3使用urllib.urlretrieve保存鏈接圖片到本地

下面給出python代碼

# -*- coding: UTF-8 -*- 
import re 
import urllib2 
import urllib 
 
def craw(url, page): 
 html1 = urllib2.urlopen(url).read() 
 html1 = str(html1) 
 pat1 = '<div id="plist".+<div class="page clearfix">' 
 result1 = re.compile(pat1, re.DOTALL).findall(html1) 
 #獲取第一次篩選結(jié)果 
 result1 = result1[0] 
 #*匹配0個(gè)或者多個(gè)前面表達(dá)式 
 #.匹配任意字符，加上re.dotall包括換行符 
 #+匹配1個(gè)或者多個(gè)前面表達(dá)式 
 #?非貪婪匹配，就是只匹配一組 
 #篩選出圖片鏈接列表 
 pat2 = '//.+?/n7/.+?\.jpg' 
 imagelist = re.compile(pat2).findall(result1) 
 #x作為圖片文件的順序 
 x=1 
 
 for imageurl in imagelist: 
 imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" 
 imageurl = "http:" + imageurl 
 try: 
  #保存圖片 
  urllib.urlretrieve(imageurl, filename=imagename) 
 except urllib2.URLError as e: 
  #hasattr判斷對(duì)象里面是否有name屬性 
  if hasattr(e, "code"): 
  x+=1 
  if hasattr(e, "reason"): 
  x+=1 
 x+=1 
 
for i in range(1, 3): 
 url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) 
 craw(url, i) 

注意：我這里只保存了第一二頁的手機(jī)圖片，在進(jìn)行第二次篩選的時(shí)候正則表達(dá)式之所以會(huì)加了一個(gè)"?"進(jìn)行非貪婪匹配，也就是一次只篩選出一張手機(jī)圖片鏈接，如果不加這個(gè)非貪婪匹配那么我們會(huì)把第一個(gè)含有“//”到最后一個(gè)結(jié)尾含有.jpg之間的所有內(nèi)容都會(huì)篩選出來，顯示是不符合的，在這里建議可以把正則表達(dá)式的?去掉，然后看一下輸出結(jié)果，去體會(huì)一下非貪婪匹配是怎么樣的。

最新評(píng)論