快捷導(dǎo)航

基于Python爬取京東雙十一商品價格曲線

更新時間：2020年10月23日 09:56:39 作者：松鼠愛吃餅干

這篇文章主要介紹了基于Python爬取雙十一商品價格曲線,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

一年一度的雙十一就快到了，各種砍價、蓋樓、挖現(xiàn)金的口令將在未來一個月內(nèi)充斥朋友圈、微信群中。玩過多次雙十一活動的小編表示一頓操作猛如虎，一看結(jié)果2毛5。浪費時間不說而且未必得到真正的優(yōu)惠，雙十一電商的“明降暗升”已經(jīng)是默認(rèn)的潛規(guī)則了。打破這種規(guī)則很簡單，可以用 Python 寫一個定時監(jiān)控商品價格的小工具。

思路第一步抓取商品的價格存入 Python 自帶的 SQLite 數(shù)據(jù)庫每天定時抓取商品價格使用 pyecharts 模塊繪制價格折線圖，讓低價一目了然

抓取京東價格

從商品詳情的頁面中打開 F12 控制面板，找到包含 p.3 的鏈接，在旁邊的 preview 面板中可以看到當(dāng)前商品價格

defget_jd_price(skuId):

sku_detail_url = 'http://item.jd.com/{}.html'
  sku_price_url = 'https://p.3.cn/prices/get?type=1&skuid=J_{}'

  r = requests.get(sku_detail_url.format(skuId)).content

  soup = BeautifulSoup(r, 'html.parser', from_encoding='utf-8')
  sku_name_div = soup.find('div', class_="sku-name")

  if not sku_name_div:
    print('您輸入的商品ID有誤！')
    return
  else:
    sku_name = sku_name_div.text.strip()

  r = requests.get(sku_price_url.format(skuId))
  price = json.loads(r.text)[0]['p']

  data = {
    'sku_id': skuId,
    'sku_name': sku_name,
    'price': price
  }
  return data

把抓取的價格存入 sqlite 數(shù)據(jù)庫，使用 PyCharm 的 Database 功能創(chuàng)建一個 sqlite 數(shù)據(jù)庫

最終將數(shù)據(jù)插入到數(shù)據(jù)庫

# 新增
def insert(data):
  conn = sqlite3.connect('price.db')
  c = conn.cursor()
  sql = 'INSERT INTO price (sku_id,sku_name,price) VALUES ("{}", "{}", "{}")'.format(data.get("sku_id"), data.get("sku_name"), data.get('price') )
  c.execute(sql)
  conn.commit()
  conn.close()

# 查詢
def select(sku_id):
  conn = sqlite3.connect('price.db')
  c = conn.cursor()
  sql = 'select sku_id, sku_name, price, time from price where sku_id = "{}" order by time asc'.format(sku_id)
  cursor = c.execute(sql)

  datas = []
  for row in cursor:
    data = {
      'sku_id': row[0],
      'sku_name': row[1],
      'price': row[2],
      'time': row[3]
    }
    datas.append(data)
  conn.close()

  return datas

示例結(jié)果

計劃任務(wù)

使用輕量級的 schedule 模塊每天早上 10 點抓取京東價格這一步驟

安裝 schedule 模塊

pip install schedule
def run_price_job(skuId):

  # 使用不占主線程的方式啟動 計劃任務(wù)
  def run_continuously(interval=1):
    cease_continuous_run = threading.Event()

    class ScheduleThread(threading.Thread):
      @classmethod
      def run(cls):
        while not cease_continuous_run.is_set():
          schedule.run_pending()
          time.sleep(interval)

    continuous_thread = ScheduleThread()
    continuous_thread.start()
    return cease_continuous_run
  
  # 每天10點運行，get_jd_price：任務(wù)方法，skuId：任務(wù)方法的參數(shù)
  schedule.every().day.at("10:00").do(get_jd_price, skuId=skuId)
  run_continuously()

查看歷史價格

使用 pytharts 模塊繪制折線圖，直觀的查看每一天的價格差異

datas = select(skuId)

def line(datas):
  x_data = []
  y_data = []
  for data in datas:
    x_data.append(data.get('time'))
    y_data.append(data.get('price'))

  (
    Line()
    .add_xaxis(x_data)
    .add_yaxis(datas[0].get('sku_name'), y_data, is_connect_nones=True)
    .render("商品歷史價格.html")
  )