Python打印scrapy蜘蛛抓取樹結構的方法
更新時間：2015年04月08日 10:14:15 作者：pythoner
這篇文章主要介紹了Python打印scrapy蜘蛛抓取樹結構的方法,實例分析了打印scrapy蜘蛛抓取樹結構的技巧,非常具有實用價值,需要的朋友可以參考下
本文實例講述了Python打印scrapy蜘蛛抓取樹結構的方法。分享給大家供大家參考。具體如下：
通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構，調用也非常簡單
#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
urls = allurls[referer]
for url in urls:
print ' '*indent + referer
if url in allurls:
print_urls(allurls, url, indent+2)
def main():
log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
allurls = defaultdict(list)
for l in fileinput.input():
m = log_re.search(l)
if m:
url, ref = m.groups()
allurls[ref] += [url]
print_urls(allurls, 'None')
main()
希望本文所述對大家的Python程序設計有所幫助。
相關文章
這篇文章主要介紹了python for循環(huán)賦值問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
這篇文章主要為大家詳細介紹了Python生成掃雷地圖的方法，并非游戲實現，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
這篇文章主要給大家介紹了關于pycharm安裝django框架(指定版本)的相關資料,PyCharm是一種Python?IDE,帶有一整套可以幫助用戶在使用Python語言開發(fā)時提高其效率的工具,需要的朋友可以參考下2023-10-10
這篇文章主要介紹了python with語句的原理與用法,結合實例形式詳細分析了python with語句基本概念、原理、用法及操作注意事項,需要的朋友可以參考下2020-03-03
Pandas之drop_duplicates:去除重復項方法
下面小編就為大家分享一篇Pandas之drop_duplicates:去除重復項方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了pytorch中關于backward的幾個要點說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
大家好，本篇文章主要講的是Python OpenCV對圖像像素進行操作，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
我們經常遇到需要進行大量重復操作的時候，比如：網頁上填表，對 web 版本 OA 進行操作，自動化測試或者給新系統(tǒng)首次添加數據等,今天就利用PyAutoGUI構建自動化操作腳本完成這些重復的需求2021-05-05
今天小編就為大家分享一篇關于Python中使用遍歷在列表中添加字典遇到的坑，小編覺得內容挺不錯的，現在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02
在本篇文章里小編給大家整理了關于Django 404、500頁面全局配置知識點詳解，需要的朋友們可以學習下。2020-03-03