前言

大家在做數(shù)據(jù)抓取的時(shí)候，經(jīng)常遇到由于網(wǎng)絡(luò)問(wèn)題導(dǎo)致的程序保存，先前只是記錄了錯(cuò)誤內(nèi)容，并對(duì)錯(cuò)誤內(nèi)容進(jìn)行后期處理。

原先的流程：

def crawl_page(url):
 pass
 
def log_error(url):
 pass
 
url = ""
try:
 crawl_page(url)
except:
 log_error(url)

改進(jìn)后的流程：

attempts = 0
success = False
while attempts < 3 and not success:
 try:
  crawl_page(url)
  success = True
 except:
  attempts += 1
  if attempts == 3:
   break

最近發(fā)現(xiàn)的新的解決方案：retrying

retrying是一個(gè) Python的重試包，可以用來(lái)自動(dòng)重試一些可能運(yùn)行失敗的程序段。retrying提供一個(gè)裝飾器函數(shù)retry，被裝飾的函數(shù)就會(huì)在運(yùn)行失敗的條件下重新執(zhí)行，默認(rèn)只要一直報(bào)錯(cuò)就會(huì)不斷重試。

import random
from retrying import retry
 
@retry
def do_something_unreliable():
 if random.randint(0, 10) > 1:
  raise IOError("Broken sauce, everything is hosed!!!111one")
 else:
  return "Awesome sauce!"
 
print do_something_unreliable()

如果我們運(yùn)行have_a_try函數(shù)，那么直到random.randint返回5，它才會(huì)執(zhí)行結(jié)束，否則會(huì)一直重新執(zhí)行。

retry還可以接受一些參數(shù)，這個(gè)從源碼中Retrying類的初始化函數(shù)可以看到可選的參數(shù)：

• stop_max_attempt_number：用來(lái)設(shè)定最大的嘗試次數(shù)，超過(guò)該次數(shù)就停止重試
•  stop_max_delay：比如設(shè)置成10000，那么從被裝飾的函數(shù)開(kāi)始執(zhí)行的時(shí)間點(diǎn)開(kāi)始，到函數(shù)成功運(yùn)行結(jié)束或者失敗報(bào)錯(cuò)中止的時(shí)間點(diǎn)，只要這段時(shí)間超過(guò)10秒，函數(shù)就不會(huì)再執(zhí)行了
• wait_fixed：設(shè)置在兩次retrying之間的停留時(shí)間
• wait_random_min和wait_random_max：用隨機(jī)的方式產(chǎn)生兩次retrying之間的停留時(shí)間
• wait_exponential_multiplier和wait_exponential_max：以指數(shù)的形式產(chǎn)生兩次retrying之間的停留時(shí)間，產(chǎn)生的值為2^previous_attempt_number * wait_exponential_multiplier，previous_attempt_number是前面已經(jīng)retry的次數(shù)，如果產(chǎn)生的這個(gè)值超過(guò)了wait_exponential_max的大小，那么之后兩個(gè)retrying之間的停留值都為wait_exponential_max。這個(gè)設(shè)計(jì)迎合了exponential backoff算法，可以減輕阻塞的情況。
• 我們可以指定要在出現(xiàn)哪些異常的時(shí)候再去retry，這個(gè)要用retry_on_exception傳入一個(gè)函數(shù)對(duì)象：

def retry_if_io_error(exception):
 return isinstance(exception, IOError)
 
@retry(retry_on_exception=retry_if_io_error)
def read_a_file():
 with open("file", "r") as f:
  return f.read()

在執(zhí)行read_a_file函數(shù)的過(guò)程中，如果報(bào)出異常，那么這個(gè)異常會(huì)以形參exception傳入retry_if_io_error函數(shù)中，如果exception是IOError那么就進(jìn)行retry，如果不是就停止運(yùn)行并拋出異常。

我們還可以指定要在得到哪些結(jié)果的時(shí)候去retry，這個(gè)要用retry_on_result傳入一個(gè)函數(shù)對(duì)象：

def retry_if_result_none(result):
 return result is None
 
@retry(retry_on_result=retry_if_result_none)
def get_result():
 return None

在執(zhí)行get_result成功后，會(huì)將函數(shù)的返回值通過(guò)形參result的形式傳入retry_if_result_none函數(shù)中，如果返回值是None那么就進(jìn)行retry，否則就結(jié)束并返回函數(shù)值。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

最新評(píng)論