python定向爬取淘寶商品價格
更新時間：2018年02月27日 09:08:06 作者：learn_is_happy
這篇文章主要為大家詳細(xì)介紹了python定向爬取淘寶商品價格，具有一定的參考價值，感興趣的小伙伴們可以參考一下
python爬蟲學(xué)習(xí)之定向爬取淘寶商品價格，供大家參考，具體內(nèi)容如下
import requests
import re
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果發(fā)送了一個失敗請求(非200響應(yīng)),#我們可以通過 Response.raise_for_status() 來拋出異常:
r.encoding= r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt,html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正則表達(dá)式來匹配 "view_price":"\d\."類型的字符串
tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正則表達(dá)式來匹配 "raw_title":".*?"類型的字符串,.*?是任意字符的最小匹配
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price,title])
except:
print ("")
def PrintGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print (tplt.format("序號","價格","商品名稱"))
count = 0
for g in ilt:
count = count + 1
print (tplt.format(count,g[0],g[1]))
def main():
goods = '書包'
depth = 2
start_url = 'https://s.taobao.com/search?q=' + goods
infoList=[]
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html= getHTMLText(url)
parsePage(infoList,html)
except:
continue
PrintGoodsList(infoList)
main()
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python+Scipy實現(xiàn)自定義任意的概率分布
Scipy自帶了多種常見的分布，如正態(tài)分布、均勻分布、二項分布、多項分布、伽馬分布等等，還可以自定義任意的概率分布。本文將為大家介紹如何利用Scipy自定義任意的概率分布，感興趣的可以了解下2022-08-08
用Python進(jìn)行數(shù)據(jù)清洗以及值處理
這篇文章主要介紹了用Python進(jìn)行數(shù)據(jù)清洗以及值處理,數(shù)據(jù)分析中，數(shù)據(jù)清洗是一個必備階段。數(shù)據(jù)分析所使用的數(shù)據(jù)一般都很龐大，致使數(shù)據(jù)不可避免的出現(xiàn)重復(fù)、缺失、異常值等異常數(shù)據(jù)，如果忽視這些異常數(shù)據(jù)，可能導(dǎo)致分析結(jié)果的準(zhǔn)確性,需要的朋友可以參考下2023-07-07
在本文中,我們將介紹三種不同的方法,以便你能夠選擇最適合你應(yīng)用程序的方法,具有一定的參考價值,感興趣的可以了解一下2023-11-11
使用Python的Matplotlib庫創(chuàng)建動態(tài)圖表的技巧與實踐分享
在數(shù)據(jù)可視化領(lǐng)域,Matplotlib庫是Python中最流行和功能強(qiáng)大的工具之一,它能夠生成各種靜態(tài)圖表,如散點圖、折線圖和柱狀圖等,本文將介紹如何使用Matplotlib庫創(chuàng)建動態(tài)圖表,并提供一些技巧和實踐經(jīng)驗,需要的朋友可以參考下2024-05-05
Python實現(xiàn)對二維碼數(shù)據(jù)進(jìn)行壓縮
當(dāng)前二維碼的應(yīng)用越來越廣泛，包括疫情時期的健康碼也是應(yīng)用二維碼的典型案例。本文的目標(biāo)很明確，就是使用python，實現(xiàn)一張二維碼顯示更多信息，代碼簡單實用，感興趣的可以了解一下2023-02-02
在本篇文章里小編給大家分享了關(guān)于python調(diào)用自己的函數(shù)的實例方法，有興趣的朋友們可以學(xué)習(xí)參考下。2020-07-07
這篇文章主要介紹了如何基于python和pygame庫實現(xiàn)刮刮樂游戲,文中通過代碼示例和圖文給大家講解的非常詳細(xì),對大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-03-03
python print出共軛復(fù)數(shù)的方法詳解
在本篇內(nèi)容里小編給大家分享的是關(guān)于python print出共軛復(fù)數(shù)的方法總結(jié)內(nèi)容，有需要的讀者們可以學(xué)習(xí)下。2019-06-06
這篇文章主要介紹了Python 炫技操作之合并字典的七種方法,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-04-04
這篇文章主要介紹了Python中l(wèi)ist的交、并、差集獲取方法示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08