def func_top(url):

    data_dict= {}

    #在頁面上獲取到子url

    sub_urls = xxxx

    data_list = []

    for it in sub_urls:

        data_list.append(func_sub(it))

    data_dict[\'data\'] = data_list

    return data_dict

def func_sub(url):

    data_dict= {}

    #在頁面上獲取到子url

    bottom_urls = xxxx

    data_list = []

    for it in bottom_urls:

        data_list.append(func_bottom(it))

    data_dict[\'data\'] = data_list

    return data_dict

def func_bottom(url):

    #獲取數(shù)據(jù)

    data = xxxx

    return data

func_top是上層頁面的處理函數(shù)，func_sub是子頁面的處理函數(shù)，func_bottom是最深層頁面的處理函數(shù)，func_top會在取到子頁面url后遍歷調(diào)用func_sub,func_sub也是同樣。

如果正常情況下，這樣確實已經(jīng)滿足需求了，但是偏偏這個你要抓取的網(wǎng)站可能極不穩(wěn)定，經(jīng)常鏈接不上，導(dǎo)致數(shù)據(jù)拿不到。

于是這個時候你有兩個選擇:

1.遇到錯誤就停止，之后重新從斷掉的位置開始重新跑
2.遇到錯誤繼續(xù)，但是要在之后重新跑一遍，這個時候已經(jīng)有的數(shù)據(jù)不希望再去網(wǎng)站拉一次，而只去拉沒有取到的數(shù)據(jù)

對第一種方案基本無法實現(xiàn)，因為如果別人網(wǎng)站的url調(diào)整順序，那么你記錄的位置就無效了。那么只有第二種方案，說白了，就是要把已經(jīng)拿到的數(shù)據(jù)cache下來，等需要的時候，直接從cache里面取。

OK，目標(biāo)已經(jīng)有了，怎么實現(xiàn)呢？

如果是在C++中的，這是個很麻煩的事情，而且寫出來的代碼必定丑陋無比，然而慶幸的是，我們用的是python，而python對函數(shù)有裝飾器。

所以實現(xiàn)方案也就有了:

定義一個裝飾器，如果之前取到數(shù)據(jù)，就直接取cache的數(shù)據(jù)；如果之前沒有取到，那么就從網(wǎng)站拉取，并且存入cache中.

代碼如下:

復(fù)制代碼代碼如下:

def get_dump_data(dir_name, url):

    m = hashlib.md5(url)

    filename = m.hexdigest()

    full_file_name = \'dumps/%s/%s\' % (dir_name,filename)

    if os.path.isfile(full_file_name):

        return eval(file(full_file_name,\'r\').read())

    else:

        return None

def set_dump_data(dir_name, url, data):

    if not os.path.isdir(\'dumps/\'+dir_name):

        os.makedirs(\'dumps/\'+dir_name)

    m = hashlib.md5(url)

    filename = m.hexdigest()

    full_file_name = \'dumps/%s/%s\' % (dir_name,filename)

    f = file(full_file_name, \'w+\')

    f.write(repr(data))

    f.close()

def deco_dump_data(func):

    def func_wrapper(url):

        data = get_dump_data(func.__name__,url)

        if data is not None:

            return data

        data = func(url)

        if data is not None:

            set_dump_data(func.__name__,url,data)

        return data

    return func_wrapper