快捷導(dǎo)航

python設(shè)置檢查點(diǎn)簡單實(shí)現(xiàn)代碼

更新時(shí)間：2014年07月01日 22:59:29 投稿：mdxy-dxy

這篇文章主要介紹了python設(shè)置檢查點(diǎn)簡單實(shí)現(xiàn)代碼,需要的朋友可以參考下

說檢查點(diǎn),其實(shí)就是對過去歷史的記錄，可以認(rèn)為是log.不過這里進(jìn)行了簡化.舉例來說,我現(xiàn)在又一段文本.文本里放有一堆堆的鏈接地址.我現(xiàn)在的任務(wù)是下載那些地址中的內(nèi)容.另外因?yàn)榫W(wǎng)絡(luò)的問題或者網(wǎng)站的問題,每次下載可能不會非常的成功.有可能出現(xiàn)斷鏈或者socket異常錯(cuò)誤。不過不管產(chǎn)生什么樣的錯(cuò)誤，我都希望我的程序能夠一直跑下去。或者能停掉后，繼續(xù)從為下載的鏈接處跑。而不是從開始的地方跑。這個(gè)問題非常簡單。因?yàn)檫@些鏈接是上下文無關(guān)的（上下文有關(guān)的情況要另外分析）。所以我只要記錄程序運(yùn)行停止前的最后一條，就有希望能夠延續(xù)前面的工作。這里實(shí)現(xiàn)中使用的是記錄原有的鏈接，大家也可以使用計(jì)數(shù)器的方法來記錄。代碼如下：

# 這個(gè)異常是原文本內(nèi)容中未出現(xiàn)檢查點(diǎn)內(nèi)容出現(xiàn)造成的  
class CheckPointMissContentError: 
  pass 
# 將文件讀取指針fd移至到檢查點(diǎn)對應(yīng)的內(nèi)容處  
# check point 的規(guī)則為，讀取文件一行或者多行，進(jìn)行操作后，將此一行或多行送入  
# 檢查文件check_point中。以后再次運(yùn)行程序，即可從該檢查點(diǎn)處繼續(xù)運(yùn)行。  
def GoCheckPoint(fd,check_point): 
  if not os.path.isfile(check_point): 
    f_check = open(check_point,'w') 
    f_check.close() 
  f_check = open(check_point,'r') 
  lines = f_check.readlines() 
  if len(lines) > 0: 
    check_content = lines[-1] #找到檢查點(diǎn)最后一行  
    check_content = check_content.strip(' /n/r') 
    # go to check point  
    while True: 
      content = fd.readline() 
      if content == '': # eof  
        raise CheckPointMissContentError 
      if content.strip(' /n/r') == check_content: 
        break 
         
  f_check.close()#關(guān)閉檢查點(diǎn)

有了上面一段還是不夠的，需要下面的代碼補(bǔ)充：

# 偽代碼  
def Download(downloadlist,sleep_time): 
   
  if os.path.isfile(downloadlist): 
    f = open(downloadlist) 
    # check_point file name，這里為自動(dòng)生成一個(gè)檢查點(diǎn)文件  
    check_point = file[0:file.rfind('.')]+'_check.txt' 
    Util.GoCheckPoint(f,check_point) #這就是上面代碼中的GoCheckPoint函數(shù)  
    f_check = open(check_point,'a')# 以追加方式寫入  
     
    try: 
      while True: 
        content = f.readline() 
        if content == '': # eof  
          break 
        content = content.strip(' /n/r') 
        if content != '': 
          # has download url  
          time.sleep(sleep_time) 
          DownloadOper(path,url) #這里是偽代碼..可以認(rèn)為是urllib.request.retrieve()函數(shù)或者是urllib.request.urlopen()啥的  
        # 作為響應(yīng)的操作后再將內(nèi)容寫入檢查點(diǎn)文件  
          f_check.write(content+'/n') 
          f_check.flush() # 必須的，否則會緩存，不會寫入硬盤中  
    except : # 蹦個(gè)異常也不怕,以后再次按F5執(zhí)行即可  
      raise Exception() 
      return Util.FAILURE # 這是我設(shè)置的常量，大家認(rèn)為是0或者1就可以了  
    finally: 
      f.close() 
      f_check.close()# 關(guān)閉文件  
    print('Downloading is done........................') 
    return Util.SUCCESS

執(zhí)行完操作之后再寫入到檢查點(diǎn)文件中。以后程序掛掉，只要檢查點(diǎn)文件還在，就可以延續(xù)前面的工作。不過這里的檢查點(diǎn)相對于數(shù)據(jù)庫中事務(wù)處理的檢查點(diǎn)還是太簡單了點(diǎn)。

您可能感興趣的文章: