快捷導(dǎo)航

Python爬蟲之模擬知乎登錄的方法教程

更新時(shí)間：2017年05月25日 09:47:16 作者：FOOFISH

在爬蟲過(guò)程中，有些頁(yè)面在登錄之前是被禁止抓取的，這個(gè)時(shí)候就需要模擬登陸了，下面這篇文章主要給大家介紹了利用Python爬蟲模擬知乎登錄的方法教程，文中介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。

前言

對(duì)于經(jīng)常寫爬蟲的大家都知道，有些頁(yè)面在登錄之前是被禁止抓取的，比如知乎的話題頁(yè)面就要求用戶登錄才能訪問(wèn)，而 “登錄” 離不開 HTTP 中的 Cookie 技術(shù)。

登錄原理

Cookie 的原理非常簡(jiǎn)單，因?yàn)?HTTP 是一種無(wú)狀態(tài)的協(xié)議，因此為了在無(wú)狀態(tài)的 HTTP 協(xié)議之上維護(hù)會(huì)話（session）狀態(tài)，讓服務(wù)器知道當(dāng)前是和哪個(gè)客戶在打交道，Cookie 技術(shù)出現(xiàn)了，Cookie 相當(dāng)于是服務(wù)端分配給客戶端的一個(gè)標(biāo)識(shí)。

瀏覽器第一次發(fā)起 HTTP 請(qǐng)求時(shí)，沒(méi)有攜帶任何 Cookie 信息
服務(wù)器把 HTTP 響應(yīng)，同時(shí)還有一個(gè) Cookie 信息，一起返回給瀏覽器
瀏覽器第二次請(qǐng)求就把服務(wù)器返回的 Cookie 信息一起發(fā)送給服務(wù)器
服務(wù)器收到HTTP請(qǐng)求，發(fā)現(xiàn)請(qǐng)求頭中有Cookie字段，便知道之前就和這個(gè)用戶打過(guò)交道了。

實(shí)戰(zhàn)應(yīng)用

用過(guò)知乎的都知道，只要提供用戶名和密碼以及驗(yàn)證碼之后即可登錄。當(dāng)然，這只是我們眼中看到的現(xiàn)象。而背后隱藏的技術(shù)細(xì)節(jié)就需要借助瀏覽器來(lái)挖掘了?，F(xiàn)在我們就用 Chrome 來(lái)查看當(dāng)我們填完表單后，究竟發(fā)生了什么？

（如果已經(jīng)登錄的，先退出）首先進(jìn)入知乎的登錄頁(yè)面 https://www.zhihu.com/#signin ，打開 Chrome 的開發(fā)者工具條（按 F12）先嘗試輸入一個(gè)錯(cuò)誤的驗(yàn)證碼觀察瀏覽器是如何發(fā)送請(qǐng)求的。

從瀏覽器的請(qǐng)求可以發(fā)現(xiàn)幾個(gè)關(guān)鍵的信息

登錄的 URL 地址是 https://www.zhihu.com/login/email
登錄需要提供的表單數(shù)據(jù)有4個(gè)：用戶名（email）、密碼（password）、驗(yàn)證碼（captcha）、_xsrf。
獲取驗(yàn)證碼的URL地址是 https://www.zhihu.com/captcha.gif?r=1490690391695&type=login

_xsrf 是什么？如果你對(duì)CSRF（跨站請(qǐng)求偽造）攻擊非常熟悉的話，那么你一定知道它的作用，xsrf是一串偽隨機(jī)數(shù)，它是用于防止跨站請(qǐng)求偽造的。它一般存在網(wǎng)頁(yè)的 form 表單標(biāo)簽中，為了證實(shí)這一點(diǎn)，可以在頁(yè)面上搜索 “xsrf”，果然，_xsrf在一個(gè)隱藏的 input 標(biāo)簽中

摸清了瀏覽器登錄時(shí)所需要的數(shù)據(jù)是如何獲取之后，那么現(xiàn)在就可以開始寫代碼用 Python 模擬瀏覽器來(lái)登錄了。登錄時(shí)所依賴的兩個(gè)第三方庫(kù)是 requests 和 BeautifulSoup，先安裝

pip install beautifulsoup4==4.5.3
pip install requests==2.13.0

http.cookiejar 模塊可用于自動(dòng)處理HTTP Cookie，LWPCookieJar 對(duì)象就是對(duì) cookies 的封裝，它支持把 cookies 保存到文件以及從文件中加載。

而 session 對(duì)象提供了 Cookie 的持久化，連接池功能，可以通過(guò) session 對(duì)象發(fā)送請(qǐng)求

首先從cookies.txt 文件中加載 cookie信息，因?yàn)槭状芜\(yùn)行還沒(méi)有cookie，所有會(huì)出現(xiàn) LoadError 異常。

from http import cookiejar
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')
try:
 session.cookies.load(ignore_discard=True)
except LoadError:
 print("load cookies failed")

獲取 xsrf

前面已經(jīng)找到了 xsrf 所在的標(biāo)簽，，利用 BeatifulSoup 的 find 方法可以非常便捷的獲取該值

def get_xsrf():
 response = session.get("https://www.zhihu.com", headers=headers)
 soup = BeautifulSoup(response.content, "html.parser")
 xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value")
 return xsrf

獲取驗(yàn)證碼

驗(yàn)證碼是通過(guò) /captcha.gif 接口返回的，這里我們把驗(yàn)證碼圖片下載保存到當(dāng)前目錄，由人工識(shí)別，當(dāng)然你可以用第三方支持庫(kù)來(lái)自動(dòng)識(shí)別，比如 pytesser。

def get_captcha():
 """
 把驗(yàn)證碼圖片保存到當(dāng)前目錄，手動(dòng)識(shí)別驗(yàn)證碼
 :return:
 """
 t = str(int(time.time() * 1000))
 captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
 r = session.get(captcha_url, headers=headers)
 with open('captcha.jpg', 'wb') as f:
  f.write(r.content)
 captcha = input("驗(yàn)證碼：")
 return captcha

登錄

一切參數(shù)準(zhǔn)備就緒之后，就可以請(qǐng)求登錄接口了。

def login(email, password):
 login_url = 'https://www.zhihu.com/login/email'
 data = {
  'email': email,
  'password': password,
  '_xsrf': get_xsrf(),
  "captcha": get_captcha(),
  'remember_me': 'true'}
 response = session.post(login_url, data=data, headers=headers)
 login_code = response.json()
 print(login_code['msg'])
 for i in session.cookies:
  print(i)
 session.cookies.save()

請(qǐng)求成功后，session 會(huì)自動(dòng)把服務(wù)端的返回的cookie 信息填充到 session.cookies 對(duì)象中，下次請(qǐng)求時(shí)，客戶端就可以自動(dòng)攜帶這些cookie去訪問(wèn)那些需要登錄的頁(yè)面了。

auto_login.py 示例代碼

# encoding: utf-8
# !/usr/bin/env python
"""
作者：liuzhijun
"""
import time
from http import cookiejar

import requests
from bs4 import BeautifulSoup

headers = {
  "Host": "www.zhihu.com",
  "Referer": "https://www.zhihu.com/",
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87'
}

# 使用登錄cookie信息
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')
try:
  print(session.cookies)
  session.cookies.load(ignore_discard=True)

except:
  print("還沒(méi)有cookie信息")


def get_xsrf():
  response = session.get("https://www.zhihu.com", headers=headers)
  soup = BeautifulSoup(response.content, "html.parser")
  xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value")
  return xsrf


def get_captcha():
  """
  把驗(yàn)證碼圖片保存到當(dāng)前目錄，手動(dòng)識(shí)別驗(yàn)證碼
  :return:
  """
  t = str(int(time.time() * 1000))
  captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
  r = session.get(captcha_url, headers=headers)
  with open('captcha.jpg', 'wb') as f:
    f.write(r.content)
  captcha = input("驗(yàn)證碼：")
  return captcha


def login(email, password):
  login_url = 'https://www.zhihu.com/login/email'
  data = {
    'email': email,
    'password': password,
    '_xsrf': get_xsrf(),
    "captcha": get_captcha(),
    'remember_me': 'true'}
  response = session.post(login_url, data=data, headers=headers)
  login_code = response.json()
  print(login_code['msg'])
  for i in session.cookies:
    print(i)
  session.cookies.save()


if __name__ == '__main__':
  email = "xxxx"
  password = "xxxxx"
  login(email, password)

github源碼地址：https://github.com/lzjun567/crawler_html2pdf/blob/master/zhihu/auto_login.py

總結(jié)

以上就是關(guān)于Python爬蟲之模擬知乎登錄的全部?jī)?nèi)容，希望本文的內(nèi)容對(duì)大家學(xué)習(xí)或者使用python能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章: