python爬取淘寶商品銷量信息
更新時(shí)間:2018年11月16日 15:03:31 作者:平步青云win
這篇文章主要為大家詳細(xì)介紹了python爬取淘寶商品的銷量信息,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
python爬取淘寶商品銷量的程序,運(yùn)行程序,輸入想要爬取的商品關(guān)鍵詞,在代碼中的‘###'可以進(jìn)一步約束商品的屬性,比如某某作者的書籍,可以在###處輸入作者名字,以及時(shí)期等等。最后可以得到所要商品的總銷量
import requests import bs4 import re import json def open(keywords, page): headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"} payload = {'q':keywords, 'sort':"sale-desc", 's':(page-1)*44} url = "https://s.taobao.com/search" res = requests.get(url, params = payload) return res def get_item(res): g_page_config = re.search(r'g_page_config = (.*?);\n', res.text) page_config_json = json.loads(g_page_config.group(1)) page_item = page_config_json['mods']['itemlist']['data']['auctions'] result = []#整理出我們關(guān)注的信息(ID,標(biāo)題,鏈接,售價(jià),銷量和商家) for each in page_item: dict1 = dict.fromkeys(('id','title','link','price','sale','shoper')) dict1['id'] = each['nid'] dict1['title'] = each['title'] dict1['link'] = each['detail_url'] dict1['price'] = each['view_price'] dict1['sale'] = each['view_sales'] dict1['shoper'] = each['nick'] result.append(dict1) return result def count_sales(items): count = 0 for each in items: if '###' in each['title']:#規(guī)定只取標(biāo)題中‘###'的商品 count += int(re.search(r'\d+',each['sale']).group()) return count def main(): keywords = input("請(qǐng)輸入搜索關(guān)鍵詞:")#可以為各種商品名稱 length = 10#淘寶商品頁(yè)數(shù) total = 0 for each in range(length): res = open(keywords, each+1) items = get_item(res) total += count_sales(items)#銷售總量 print(total) if __name__ == "__main__": main()
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
詳解Pandas與openpyxl庫(kù)的超強(qiáng)結(jié)合
Pandas絕對(duì)是Python中處理Excel最快、最好用的庫(kù),但是使用 openpyxl 的一些優(yōu)勢(shì)是能夠輕松地使用樣式、條件格式等自定義電子表格,感興趣的可以了解一下2021-09-09在Python中marshal對(duì)象序列化的相關(guān)知識(shí)
這篇文章主要介紹了在Python中marshal對(duì)象序列化的相關(guān)知識(shí),是Python進(jìn)階學(xué)習(xí)中序列化相關(guān)的知識(shí),需要的朋友可以參考下2015-07-07keras小技巧——獲取某一個(gè)網(wǎng)絡(luò)層的輸出方式
這篇文章主要介紹了keras小技巧——獲取某一個(gè)網(wǎng)絡(luò)層的輸出方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05Python實(shí)現(xiàn)將字典內(nèi)容寫入json文件
這篇文章主要為大家詳細(xì)介紹了如何利用Python語(yǔ)言實(shí)現(xiàn)將字典內(nèi)容寫入json文件,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-08-08