詳解Python如何批量采集京東商品數(shù)據(jù)流程
準(zhǔn)備工作
驅(qū)動(dòng)安裝
實(shí)現(xiàn)案例之前,我們要先安裝一個(gè)谷歌驅(qū)動(dòng),因?yàn)槲覀兪鞘褂胹elenium 操控谷歌驅(qū)動(dòng),然后操控瀏覽器實(shí)現(xiàn)自動(dòng)操作的,模擬人的行為去操作瀏覽器。
以谷歌瀏覽器為例,打開瀏覽器看下我們自己的版本,然后下載跟自己瀏覽器版本一樣或者最相近的版本,下載后解壓一下,把解壓好的插件放到我們的python環(huán)境里面,或者和代碼放到一起也可以。
模塊使用與介紹
selenium
pip install selenium ,直接輸入selenium的話是默認(rèn)安裝最新的,selenium后面加上版本號(hào)就是安裝對(duì)應(yīng)的的版本;csv
內(nèi)置模塊,不需要安裝,把數(shù)據(jù)保存到Excel表格用的;time
內(nèi)置模塊,不需要安裝,時(shí)間模塊,主要用于延時(shí)等待;
流程解析
我們?cè)L問一個(gè)網(wǎng)站,要輸入一個(gè)網(wǎng)址,所以代碼也是這么寫的。
首先導(dǎo)入模塊
from selenium import webdriver
文件名或者包名不要命名為selenium,會(huì)導(dǎo)致無法導(dǎo)入。 webdriver可以認(rèn)為是瀏覽器的驅(qū)動(dòng)器,要驅(qū)動(dòng)瀏覽器必須用到webdriver,支持多種瀏覽器。
實(shí)例化瀏覽器對(duì)象 ,我這里用的是谷歌,建議大家用谷歌,方便一點(diǎn)。
driver = webdriver.Chrome()
我們用get訪問一個(gè)網(wǎng)址,自動(dòng)打開網(wǎng)址。
driver.get('https://www.jd.com/')
運(yùn)行一下
打開網(wǎng)址后,以買口紅為例。
我們首先要通過你想購(gòu)買的商品關(guān)鍵字來搜索得到商品信息,用搜索結(jié)果去獲取信息。
那我們也要寫一個(gè)輸入,空白處點(diǎn)擊右鍵,選擇檢查。
選擇element 元素面板
鼠標(biāo)點(diǎn)擊左邊的箭頭按鈕,去點(diǎn)擊搜索框,它就會(huì)直接定位到搜索標(biāo)簽。
在標(biāo)簽上點(diǎn)擊右鍵,選擇copy,選擇copy selector 。
如果你是xpath ,就copy它的xpath 。
然后把我們想要搜索的內(nèi)容寫出來
driver.find_element_by_css_selector('#key').send_keys('口紅')
再運(yùn)行的時(shí)候,它就會(huì)自動(dòng)打開瀏覽器進(jìn)入目標(biāo)網(wǎng)址搜索口紅。
同樣的方法,找到搜索按鈕進(jìn)行點(diǎn)擊。
driver.find_element_by_css_selector('.button').click()
再運(yùn)行就會(huì)自動(dòng)點(diǎn)擊搜索了
頁面搜索出來了,那么咱們正常瀏覽網(wǎng)頁是要下拉網(wǎng)頁對(duì)吧,咱們讓它自動(dòng)下拉就好了。 先導(dǎo)入time模塊
import time
執(zhí)行頁面滾動(dòng)的操作
def drop_down(): """執(zhí)行頁面滾動(dòng)的操作""" # javascript for x in range(1, 12, 2): # for循環(huán)下拉次數(shù),取1 3 5 7 9 11, 在你不斷的下拉過程中, 頁面高度也會(huì)變的; time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滾動(dòng)條的位置 # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) # 執(zhí)行我們JS代碼
循環(huán)寫好了,然后調(diào)用一下。
drop_down()
我們?cè)俳o它來個(gè)延時(shí)
driver.implicitly_wait(10)
這是一個(gè)隱式等待,等待網(wǎng)頁延時(shí),網(wǎng)不好的話加載很慢。
隱式等待不是必須等十秒,在十秒內(nèi)你的網(wǎng)絡(luò)加載好后,它隨時(shí)會(huì)加載,十秒后沒加載出來的話才會(huì)強(qiáng)行加載。
還有另外一種死等的,你寫的幾秒就等幾秒,相對(duì)沒有那么人性化。
time.sleep(10)
加載完數(shù)據(jù)后我們需要去找商品數(shù)據(jù)來源
價(jià)格/標(biāo)題/評(píng)價(jià)/封面/店鋪等等
還是鼠標(biāo)右鍵點(diǎn)擊檢查,在element ,點(diǎn)擊小箭頭去點(diǎn)擊你想查看的數(shù)據(jù)。
可以看到都在li標(biāo)簽里面
獲取所有的 li 標(biāo)簽內(nèi)容,還是一樣的,直接copy 。
在左下角就有了
這里表示的是取的第一個(gè),但是我們是要獲取所有的標(biāo)簽,所以左邊框框里 li 后面的可以刪掉不要。
不要的話,可以看到這里是60個(gè)商品數(shù)據(jù),一頁是60個(gè)。
所以我們把剩下的復(fù)制過來, 用lis接收一下 。
lis = driver.find_elements_by_css_selector('#J_goodsList ul li')
因?yàn)槲覀兪谦@取所有的標(biāo)簽數(shù)據(jù),所以比之前多了一個(gè)s
打印一下
print(lis)
通過lis返回?cái)?shù)據(jù) 列表 [] 列表里面的元素 <> 對(duì)象
遍歷一下,把所有的元素拿出來。
for li in lis: title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '') # 商品標(biāo)題 獲取標(biāo)簽文本數(shù)據(jù) price = li.find_element_by_css_selector('.p-price strong i').text # 價(jià)格 commit = li.find_element_by_css_selector('.p-commit strong a').text # 評(píng)論量 shop_name = li.find_element_by_css_selector('.J_im_icon a').text # 店鋪名字 href = li.find_element_by_css_selector('.p-img a').get_attribute('href') # 商品詳情頁 icons = li.find_elements_by_css_selector('.p-icons i') icon = ','.join([i.text for i in icons]) # 列表推導(dǎo)式 ','.join 以逗號(hào)把列表中的元素拼接成一個(gè)字符串?dāng)?shù)據(jù) dit = { '商品標(biāo)題': title, '商品價(jià)格': price, '評(píng)論量': commit, '店鋪名字': shop_name, '標(biāo)簽': icon, '商品詳情頁': href, } csv_writer.writerow(dit) print(title, price, commit, href, icon, sep=' | ')
搜索功能
key_world = input('請(qǐng)輸入你想要獲取商品數(shù)據(jù): ')
要獲取的數(shù)據(jù) ,獲取到后保存CSV
f = open(f'京東{key_world}商品數(shù)據(jù).csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '商品標(biāo)題', '商品價(jià)格', '評(píng)論量', '店鋪名字', '標(biāo)簽', '商品詳情頁', ]) csv_writer.writeheader()
然后再寫一個(gè)自動(dòng)翻頁
for page in range(1, 11): print(f'正在爬取第{page}頁的數(shù)據(jù)內(nèi)容') time.sleep(1) drop_down() get_shop_info() # 下載數(shù)據(jù) driver.find_element_by_css_selector('.pn-next').click() # 點(diǎn)擊下一頁
完整代碼
from selenium import webdriver import time import csv def drop_down(): """執(zhí)行頁面滾動(dòng)的操作""" for x in range(1, 12, 2): time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滾動(dòng)條的位置 # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) # 執(zhí)行JS代碼 key_world = input('請(qǐng)輸入你想要獲取商品數(shù)據(jù): ') f = open(f'京東{key_world}商品數(shù)據(jù).csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '商品標(biāo)題', '商品價(jià)格', '評(píng)論量', '店鋪名字', '標(biāo)簽', '商品詳情頁', ]) csv_writer.writeheader() # 實(shí)例化一個(gè)瀏覽器對(duì)象 driver = webdriver.Chrome() driver.get('https://www.jd.com/') # 訪問一個(gè)網(wǎng)址 打開瀏覽器 打開網(wǎng)址 # 通過css語法在element(元素面板)里面查找 #key 某個(gè)標(biāo)簽數(shù)據(jù) 輸入一個(gè)關(guān)鍵詞 口紅 driver.find_element_by_css_selector('#key').send_keys(key_world) # 找到輸入框標(biāo)簽 driver.find_element_by_css_selector('.button').click() # 找到搜索按鈕 進(jìn)行點(diǎn)擊 # time.sleep(10) # 等待 # driver.implicitly_wait(10) # 隱式等待 def get_shop_info(): # 第一步 獲取所有的li標(biāo)簽內(nèi)容 driver.implicitly_wait(10) lis = driver.find_elements_by_css_selector('#J_goodsList ul li') # 獲取多個(gè)標(biāo)簽 # 返回?cái)?shù)據(jù) 列表 [] 列表里面的元素 <> 對(duì)象 # print(len(lis)) for li in lis: title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '') # 商品標(biāo)題 獲取標(biāo)簽文本數(shù)據(jù) price = li.find_element_by_css_selector('.p-price strong i').text # 價(jià)格 commit = li.find_element_by_css_selector('.p-commit strong a').text # 評(píng)論量 shop_name = li.find_element_by_css_selector('.J_im_icon a').text # 店鋪名字 href = li.find_element_by_css_selector('.p-img a').get_attribute('href') # 商品詳情頁 icons = li.find_elements_by_css_selector('.p-icons i') icon = ','.join([i.text for i in icons]) # 列表推導(dǎo)式 ','.join 以逗號(hào)把列表中的元素拼接成一個(gè)字符串?dāng)?shù)據(jù) dit = { '商品標(biāo)題': title, '商品價(jià)格': price, '評(píng)論量': commit, '店鋪名字': shop_name, '標(biāo)簽': icon, '商品詳情頁': href, } csv_writer.writerow(dit) print(title, price, commit, href, icon, sep=' | ') # print(href) for page in range(1, 11): print(f'正在爬取第{page}頁的數(shù)據(jù)內(nèi)容') time.sleep(1) drop_down() get_shop_info() # 下載數(shù)據(jù) driver.find_element_by_css_selector('.pn-next').click() # 點(diǎn)擊下一頁 driver.quit() # 關(guān)閉瀏覽器
效果展示
代碼是沒得問題的,大家可以去試試
到此這篇關(guān)于詳解Python如何批量采集京東商品數(shù)據(jù)流程的文章就介紹到這了,更多相關(guān)Python 采集京東商品數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python爬蟲實(shí)現(xiàn)熱門電影信息采集
- Python爬蟲采集微博視頻數(shù)據(jù)
- Python爬蟲實(shí)戰(zhàn)演練之采集拉鉤網(wǎng)招聘信息數(shù)據(jù)
- Python爬蟲實(shí)戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)
- Python爬蟲入門案例之回車桌面壁紙網(wǎng)美女圖片采集
- 基于Python爬蟲采集天氣網(wǎng)實(shí)時(shí)信息
- Python爬蟲_城市公交、地鐵站點(diǎn)和線路數(shù)據(jù)采集實(shí)例
- 講解Python的Scrapy爬蟲框架使用代理進(jìn)行采集的方法
- Python制作爬蟲采集小說
相關(guān)文章
Python 把序列轉(zhuǎn)換為元組的函數(shù)tuple方法
今天小編就為大家分享一篇Python 把序列轉(zhuǎn)換為元組的函數(shù)tuple方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06python 虛擬環(huán)境的創(chuàng)建與使用方法
本文先介紹虛擬環(huán)境的基礎(chǔ)知識(shí)以及使用方法,然后再深入介紹虛擬環(huán)境背后的工作原理,需要的朋友可以參考下2021-06-06OpenCV結(jié)合selenium實(shí)現(xiàn)滑塊驗(yàn)證碼
本文主要介紹了OpenCV結(jié)合selenium實(shí)現(xiàn)滑塊驗(yàn)證碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-08-08python flask中動(dòng)態(tài)URL規(guī)則詳解
今天小編就為大家分享一篇python flask中動(dòng)態(tài)URL規(guī)則詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-11-11python 刪除字符串中連續(xù)多個(gè)空格并保留一個(gè)的方法
今天小編就為大家分享一篇python 刪除字符串中連續(xù)多個(gè)空格并保留一個(gè)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12