python爬蟲爬取快手視頻多線程下載功能

更新時(shí)間：2018年02月28日 15:42:56 作者：冰藍(lán)的天空

這篇文章主要介紹了python爬蟲爬取快手視頻多線程下載功能，非常不錯(cuò)，具有參考借鑒價(jià)值,需要的朋友可以參考下

環(huán)境： python 2.7 + win10

工具：fiddler postman 安卓模擬器

首先，打開fiddler，fiddler作為http/https 抓包神器，這里就不多介紹。

配置允許https

配置允許遠(yuǎn)程連接也就是打開http代理

電腦ip: 192.168.1.110

然后確保手機(jī)和電腦是在一個(gè)局域網(wǎng)下，可以通信。由于我這邊沒(méi)有安卓手機(jī)，就用了安卓模擬器代替，效果一樣的。

打開手機(jī)瀏覽器，輸入192.168.1.110:8888 也就是設(shè)置的代理地址，安裝證書之后才能抓包

安裝證書之后，在 WiFi設(shè)置修改網(wǎng)絡(luò) 手動(dòng)指定http代理

保存后就可以了，fiddler就可以抓到app的數(shù)據(jù)了，打開快手刷新，可以看到有很多http請(qǐng)求進(jìn)來(lái)，一般接口地址之類的很明顯的，可以看到是json類型的

http post請(qǐng)求，返回?cái)?shù)據(jù)是json ，展開后發(fā)現(xiàn)一共是20條視頻信息，先確保是否正確，找一個(gè)視頻鏈接看下。

ok 是可以播放的很干凈也沒(méi)有水印。

那么現(xiàn)在打開 postman 來(lái)模擬這個(gè)post 看看有沒(méi)有檢驗(yàn)參數(shù)

一共是這么多參數(shù)，我以為 client_key 和 sign 會(huì)驗(yàn)證...可是后面發(fā)現(xiàn)我錯(cuò)了啥也沒(méi)驗(yàn)證就這樣提交過(guò)去就行...

form-data 方式提交則報(bào)錯(cuò)

那換 raw 這種

報(bào)錯(cuò)信息不一樣了，試試加上 headers

nice 成功返回?cái)?shù)據(jù)，我又多試幾次，發(fā)現(xiàn)每次返回結(jié)果不一樣，都是 20個(gè)視頻，剛才其中post參數(shù)中有個(gè)page=1 可能一直都是第一頁(yè) 就像一直在手機(jī)上不往下翻了就開始一直刷新那樣，反正也無(wú)所謂，只要返回?cái)?shù)據(jù) 不重復(fù)就好。

下面就開始上代碼

# -*-coding:utf-8-*-
# author : Corleone
import urllib2,urllib
import json,os,re,socket,time,sys
import Queue
import threading
import logging
# 日志模塊
logger = logging.getLogger("AppName")
formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s')
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter
logger.addHandler(console_handler)
logger.setLevel(logging.INFO)
video_q = Queue.Queue()  # 視頻隊(duì)列
def get_video():
  url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=BOYA_BAIDU_PINZHUAN&sys=ANDROID_4.1.2&mod=HUAWEI(HUAWEI%20C8813Q)&did=ANDROID_e0e0ef947bbbc243&ver=5.4&net=WIFI&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=BOYA_BAIDU_PINZHUAN&ftt=&ud=0&language=zh-cn&lat=31.319303 "
  data = {
    'type': 7,
    'page': 2,
    'coldStart': 'false',
    'count': 20,
    'pv': 'false',
    'id': 5,
    'refreshTimes': 4,
    'pcursor': 1,
    'os': 'android',
    'client_key': '3c2cd3f3',
    'sig': '22769f2f5c0045381203fc57d1b5ad9b'
  }
  req = urllib2.Request(url)
  req.add_header("User-Agent", "kwai-android")
  req.add_header("Content-Type", "application/x-www-form-urlencoded")
  params = urllib.urlencode(data)
  try:
    html = urllib2.urlopen(req, params).read()
  except urllib2.URLError:
    logger.warning(u"網(wǎng)絡(luò)不穩(wěn)定 正在重試訪問(wèn)")
    html = urllib2.urlopen(req, params).read()
  result = json.loads(html)
  reg = re.compile(u"[\u4e00-\u9fa5]+")  # 只匹配中文
  for x in result['feeds']:
    try:
      title = x['caption'].replace("\n","")
      name = " ".join(reg.findall(title))
      video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']])
    except KeyError:
      pass
def download(video_q):
  path = u"D:\快手"
  while True:
    data = video_q.get()
    name = data[0].replace("\n","")
    id = data[1]
    url = data[2]
    file = os.path.join(path, name + ".mp4")
    logger.info(u"正在下載：%s" %name)
    try:
      urllib.urlretrieve(url,file)
    except IOError:
      file = os.path.join(path, u"神經(jīng)病呀"+ '%s.mp4') %id
      try:
        urllib.urlretrieve(url, file)
      except (socket.error,urllib.ContentTooShortError):
        logger.warning(u"請(qǐng)求被斷開，休眠2秒")
        time.sleep(2)
        urllib.urlretrieve(url, file)
    logger.info(u"下載完成：%s" % name)
    video_q.task_done()
def main():
  # 使用幫助
  try:
    threads = int(sys.argv[1])
  except (IndexError, ValueError):
    print u"\n用法: " + sys.argv[0] + u" [線程數(shù):10] \n"
    print u"例如：" + sys.argv[0] + " 10" + u" 爬取視頻 開啟10個(gè)線程 每天爬取一次 一次2000個(gè)視頻左右(空格隔開)"
    return False
  # 判斷目錄
  if os.path.exists(u'D:\快手') == False:
    os.makedirs(u'D:\快手')
  # 解析網(wǎng)頁(yè)
  logger.info(u"正在爬取網(wǎng)頁(yè)")
  for x in range(1,100):
    logger.info(u"第 %s 次請(qǐng)求" % x)
    get_video()
  num = video_q.qsize()
  logger.info(u"共 %s 視頻" %num)
  # 多線程下載
  for y in range(threads):
    t = threading.Thread(target=download,args=(video_q,))
    t.setDaemon(True)
    t.start()
  video_q.join()
  logger.info(u"-----------全部已經(jīng)爬取完成---------------")
main()

下面測(cè)試