Python對(duì)口紅進(jìn)行數(shù)據(jù)分析來選定情人節(jié)禮物

更新時(shí)間：2022年02月14日 16:22:49 作者：迢迢x

情人節(jié)送小仙女什么禮物？讓我們來用Python對(duì)口紅進(jìn)行數(shù)據(jù)分析，那個(gè)女孩子會(huì)拒絕這樣精心挑選的禮物，感興趣的小伙伴快來看看吧

前言：

情人節(jié)、三八女神節(jié)、520、七夕節(jié)、圣誕節(jié)、元旦、生日、新年、各種紀(jì)念日……這些節(jié)日，對(duì)于每一個(gè)有女朋友的男同胞們來說都存在一個(gè)困惑的問題：送女朋友什么禮物好？

其實(shí)送禮物這件事，說難也不難，但也絕不是一件簡(jiǎn)單的事兒hhh～

送對(duì)了感情升溫，送錯(cuò)了讓你恢復(fù)單身！

但只要在挑選禮物的時(shí)候記得以下這幾點(diǎn)，想要踩雷都很難了。

1.符合對(duì)方的審美，平時(shí)多留意一下女朋友喜歡什么東西。

2.顏值即正義，女孩子都是顏值動(dòng)物，像我自己平時(shí)挑個(gè)拖鞋選個(gè)水杯，都要高顏值的，可愛的，高級(jí)感的…

3.禮物要有儀式感，比如包裝得很精美的花、自己新手做的禮盒、好看又實(shí)用剛好又是對(duì)方需要的東西。

4.在能力范圍內(nèi)送合適的禮物，禮物不一定要貴，有意義有心意最重要。

接下來就可以拿著這一份挑口紅的功課去給女朋友挑禮物啦，保證不會(huì)踩雷，送給女孩子絕對(duì)不會(huì)錯(cuò)~

準(zhǔn)備工作

驅(qū)動(dòng)安裝

實(shí)現(xiàn)案例之前，我們要先安裝一個(gè)谷歌驅(qū)動(dòng)，因?yàn)槲覀兪鞘褂胹elenium 操控谷歌驅(qū)動(dòng)，然后操控瀏覽器實(shí)現(xiàn)自動(dòng)操作的，模擬人的行為去操作瀏覽器。

以谷歌瀏覽器為例，打開瀏覽器看下我們自己的版本，然后下載跟自己瀏覽器版本一樣或者最相近的版本，下載后解壓一下，把解壓好的插件放到我們的python環(huán)境里面，或者和代碼放到一起也可以。

模塊使用與介紹

selenium pip install selenium ，直接輸入selenium的話是默認(rèn)安裝最新的，selenium后面加上版本號(hào)就是安裝對(duì)應(yīng)的的版本；
csv 內(nèi)置模塊，不需要安裝，把數(shù)據(jù)保存到Excel表格用的；
time 內(nèi)置模塊，不需要安裝，時(shí)間模塊，主要用于延時(shí)等待；

流程解析

我們?cè)L問一個(gè)網(wǎng)站，要輸入一個(gè)網(wǎng)址，所以代碼也是這么寫的。

首先導(dǎo)入模塊

from selenium import webdriver

文件名或者包名不要命名為selenium，會(huì)導(dǎo)致無(wú)法導(dǎo)入。 webdriver可以認(rèn)為是瀏覽器的驅(qū)動(dòng)器，要驅(qū)動(dòng)瀏覽器必須用到webdriver，支持多種瀏覽器。

實(shí)例化瀏覽器對(duì)象，我這里用的是谷歌，建議大家用谷歌，方便一點(diǎn)。

driver = webdriver.Chrome()

我們用get訪問一個(gè)網(wǎng)址，自動(dòng)打開網(wǎng)址。

driver.get('https://www.jd.com/')

運(yùn)行一下

打開網(wǎng)址后，以買口紅為例。

我們首先要通過你想購(gòu)買的商品關(guān)鍵字來搜索得到商品信息，用搜索結(jié)果去獲取信息。

那我們也要寫一個(gè)輸入，空白處點(diǎn)擊右鍵，選擇檢查。選擇element 元素面板

鼠標(biāo)點(diǎn)擊左邊的箭頭按鈕，去點(diǎn)擊搜索框，它就會(huì)直接定位到搜索標(biāo)簽。在標(biāo)簽上點(diǎn)擊右鍵，選擇copy，選擇copy selector 。如果你是xpath ，就copy它的xpath 。然后把我們想要搜索的內(nèi)容寫出來

driver.find_element_by_css_selector('#key').send_keys('口紅')

再運(yùn)行的時(shí)候，它就會(huì)自動(dòng)打開瀏覽器進(jìn)入目標(biāo)網(wǎng)址搜索口紅。

同樣的方法，找到搜索按鈕進(jìn)行點(diǎn)擊。

driver.find_element_by_css_selector('.button').click()

再運(yùn)行就會(huì)自動(dòng)點(diǎn)擊搜索了，頁(yè)面搜索出來了，那么咱們正常瀏覽網(wǎng)頁(yè)是要下拉網(wǎng)頁(yè)對(duì)吧，咱們讓它自動(dòng)下拉就好了。先導(dǎo)入time模塊

import time

執(zhí)行頁(yè)面滾動(dòng)的操作

def drop_down():
    """執(zhí)行頁(yè)面滾動(dòng)的操作"""  # javascript
    for x in range(1, 12, 2):  # for循環(huán)下拉次數(shù)，取1 3 5 7 9 11， 在你不斷的下拉過程中, 頁(yè)面高度也會(huì)變的；
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滾動(dòng)條的位置
        # document.documentElement.scrollHeight 獲取瀏覽器頁(yè)面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)  # 執(zhí)行我們JS代碼

循環(huán)寫好了，然后調(diào)用一下。

drop_down()

我們?cè)俳o它來個(gè)延時(shí)

driver.implicitly_wait(10)

這是一個(gè)隱式等待，等待網(wǎng)頁(yè)延時(shí)，網(wǎng)不好的話加載很慢。

隱式等待不是必須等十秒，在十秒內(nèi)你的網(wǎng)絡(luò)加載好后，它隨時(shí)會(huì)加載，十秒后沒加載出來的話才會(huì)強(qiáng)行加載。

還有另外一種死等的，你寫的幾秒就等幾秒，相對(duì)沒有那么人性化。

time.sleep(10)

加載完數(shù)據(jù)后我們需要去找商品數(shù)據(jù)來源

價(jià)格/標(biāo)題/評(píng)價(jià)/封面/店鋪等等

還是鼠標(biāo)右鍵點(diǎn)擊檢查，在element ，點(diǎn)擊小箭頭去點(diǎn)擊你想查看的數(shù)據(jù)。

可以看到都在li標(biāo)簽里面獲取所有的 li 標(biāo)簽內(nèi)容，還是一樣的，直接copy 。在左下角就有了這里表示的是取的第一個(gè)，但是我們是要獲取所有的標(biāo)簽，所以左邊框框里 li 后面的可以刪掉不要。不要的話，可以看到這里是60個(gè)商品數(shù)據(jù)，一頁(yè)是60個(gè)。所以我們把剩下的復(fù)制過來, 用lis接收一下。

lis = driver.find_elements_by_css_selector('#J_goodsList ul li')

因?yàn)槲覀兪谦@取所有的標(biāo)簽數(shù)據(jù)，所以比之前多了一個(gè)s

打印一下

print(lis)

通過lis返回?cái)?shù)據(jù) 列表 [] 列表里面的元素 <> 對(duì)象

遍歷一下，把所有的元素拿出來。

for li in lis:
 
    title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '')  # 商品標(biāo)題 獲取標(biāo)簽文本數(shù)據(jù)
    price = li.find_element_by_css_selector('.p-price strong i').text  # 價(jià)格
    commit = li.find_element_by_css_selector('.p-commit strong a').text  # 評(píng)論量
    shop_name = li.find_element_by_css_selector('.J_im_icon a').text  # 店鋪名字
    href = li.find_element_by_css_selector('.p-img a').get_attribute('href')  # 商品詳情頁(yè)
    icons = li.find_elements_by_css_selector('.p-icons i')
    icon = ','.join([i.text for i in icons])  # 列表推導(dǎo)式  ','.join 以逗號(hào)把列表中的元素拼接成一個(gè)字符串?dāng)?shù)據(jù)
    dit = {
        '商品標(biāo)題': title,
        '商品價(jià)格': price,
        '評(píng)論量': commit,
        '店鋪名字': shop_name,
        '標(biāo)簽': icon,
        '商品詳情頁(yè)': href,
    }
    csv_writer.writerow(dit)
    print(title, price, commit, href, icon, sep=' | ')

搜索功能

key_world = input('請(qǐng)輸入你想要獲取商品數(shù)據(jù): ')

要獲取的數(shù)據(jù) ，獲取到后保存CSV

f = open(f'京東{key_world}商品數(shù)據(jù).csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '商品標(biāo)題',
    '商品價(jià)格',
    '評(píng)論量',
    '店鋪名字',
    '標(biāo)簽',
    '商品詳情頁(yè)',
])
csv_writer.writeheader()

然后再寫一個(gè)自動(dòng)翻頁(yè)

for page in range(1, 11):
    print(f'正在爬取第{page}頁(yè)的數(shù)據(jù)內(nèi)容')
    time.sleep(1)
    drop_down()
    get_shop_info()  # 下載數(shù)據(jù)
    driver.find_element_by_css_selector('.pn-next').click()  # 點(diǎn)擊下一頁(yè)

完整代碼

from selenium import webdriver
import time
import csv
 
 
def drop_down():
    """執(zhí)行頁(yè)面滾動(dòng)的操作"""  
    for x in range(1, 12, 2):  
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滾動(dòng)條的位置
        # document.documentElement.scrollHeight 獲取瀏覽器頁(yè)面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)  # 執(zhí)行JS代碼
 
 
key_world = input('請(qǐng)輸入你想要獲取商品數(shù)據(jù): ')
 
f = open(f'京東{key_world}商品數(shù)據(jù).csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '商品標(biāo)題',
    '商品價(jià)格',
    '評(píng)論量',
    '店鋪名字',
    '標(biāo)簽',
    '商品詳情頁(yè)',
])
csv_writer.writeheader()
 
# 實(shí)例化一個(gè)瀏覽器對(duì)象
 
driver = webdriver.Chrome()
driver.get('https://www.jd.com/')  # 訪問一個(gè)網(wǎng)址 打開瀏覽器 打開網(wǎng)址
# 通過css語(yǔ)法在element(元素面板)里面查找 #key 某個(gè)標(biāo)簽數(shù)據(jù) 輸入一個(gè)關(guān)鍵詞 口紅
driver.find_element_by_css_selector('#key').send_keys(key_world)  # 找到輸入框標(biāo)簽
driver.find_element_by_css_selector('.button').click()  # 找到搜索按鈕 進(jìn)行點(diǎn)擊
# time.sleep(10) # 等待 
# driver.implicitly_wait(10)  # 隱式等待 
 
def get_shop_info():
    # 第一步 獲取所有的li標(biāo)簽內(nèi)容
    driver.implicitly_wait(10)
    lis = driver.find_elements_by_css_selector('#J_goodsList ul li')  # 獲取多個(gè)標(biāo)簽
    # 返回?cái)?shù)據(jù) 列表 [] 列表里面的元素 <> 對(duì)象
    # print(len(lis))
    for li in lis:
 
        title = li.find_element_by_css_selector('.p-name em').text.replace('\n', '')  # 商品標(biāo)題 獲取標(biāo)簽文本數(shù)據(jù)
        price = li.find_element_by_css_selector('.p-price strong i').text  # 價(jià)格
        commit = li.find_element_by_css_selector('.p-commit strong a').text  # 評(píng)論量
        shop_name = li.find_element_by_css_selector('.J_im_icon a').text  # 店鋪名字
        href = li.find_element_by_css_selector('.p-img a').get_attribute('href')  # 商品詳情頁(yè)
        icons = li.find_elements_by_css_selector('.p-icons i')
        icon = ','.join([i.text for i in icons])  # 列表推導(dǎo)式  ','.join 以逗號(hào)把列表中的元素拼接成一個(gè)字符串?dāng)?shù)據(jù)
        dit = {
            '商品標(biāo)題': title,
            '商品價(jià)格': price,
            '評(píng)論量': commit,
            '店鋪名字': shop_name,
            '標(biāo)簽': icon,
            '商品詳情頁(yè)': href,
        }
        csv_writer.writerow(dit)
        print(title, price, commit, href, icon, sep=' | ')
        # print(href)
 
 
for page in range(1, 11):
    print(f'正在爬取第{page}頁(yè)的數(shù)據(jù)內(nèi)容')
    time.sleep(1)
    drop_down()
    get_shop_info()  # 下載數(shù)據(jù)
    driver.find_element_by_css_selector('.pn-next').click()  # 點(diǎn)擊下一頁(yè)
 
driver.quit()  # 關(guān)閉瀏覽器

效果展示

結(jié)尾

以上就是本文的全部?jī)?nèi)容了，大家喜歡的記得點(diǎn)點(diǎn)贊！

到此這篇關(guān)于Python對(duì)口紅進(jìn)行數(shù)據(jù)分析來選定情人節(jié)禮物的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)分析口紅內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: