Python使用Scrapy保存控制臺信息到文本解析
更新時間：2017年12月27日 09:02:01 作者：曾是土木人
這篇文章主要介紹了Python使用Scrapy保存控制臺信息到文本解析，具有一定借鑒價值,需要的朋友可以參考下
在Windows平臺下，如果想運(yùn)行爬蟲的話，就需要在cmd中輸入：
scrapy crawl spider_name
這時，爬蟲就能啟動，并在控制臺（cmd）中打印一些信息，如下圖所示：
但是，cmd中默認(rèn)只能顯示幾屏的信息，其他的信息就無法看到。
如果我們想查看爬蟲在運(yùn)行過程中的調(diào)試信息或錯誤信息的話，會很不方便。
此時，我們就可以將控制臺的信息寫入的一個文本文件中去，方便我們查看。
命令如下:
D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log
總結(jié)
以上就是本文關(guān)于Python使用Scrapy保存控制臺信息到文本解析的全部內(nèi)容，希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題，如有不足之處，歡迎留言指出。感謝朋友們對本站的支持！
相關(guān)文章
iter()是Python的內(nèi)置函數(shù),用于生成迭代器,允許逐個訪問元素,節(jié)省內(nèi)存使用,iter()可以應(yīng)用于文件對象,實現(xiàn)逐行讀取,此外,iter()還可以與自定義結(jié)束標(biāo)記結(jié)合使用,適用于處理固定塊數(shù)據(jù)讀取,相較于其他文件讀取方法,iter()方法簡單高效,適合處理大文件,減少內(nèi)存占用2024-10-10
Django外鍵（ForeignKey）操作以及related_name的作用詳解
這篇文章主要介紹了Django外鍵（ForeignKey）操作以及related_name的作用詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要為大家詳細(xì)介紹了python如何實現(xiàn)簡易超市管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-09-09
python如何將兩個數(shù)據(jù)表中的對應(yīng)數(shù)據(jù)相加
這篇文章主要介紹了python如何將兩個數(shù)據(jù)表中的對應(yīng)數(shù)據(jù)相加問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
關(guān)于Python八大排序?qū)崿F(xiàn)方法(冒泡排序、快速排序等)
這篇文章主要介紹了關(guān)于Python八大排序?qū)崿F(xiàn)方法,主要有基數(shù)排序、歸并排序、堆排序、簡單選擇排序、直接插入排序、希爾排序、快速排序、冒泡排序等,需要的朋友可以參考下2023-03-03
這篇文章主要介紹了python 用 xlwings 庫 生成圖表的方法,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下2019-12-12
這篇文章主要介紹了Python類super()及私有屬性原理解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-06-06
Python通用驗證碼識別OCR庫ddddocr的安裝使用教程
dddd_ocr是一個用于識別驗證碼的開源庫,又名帶帶弟弟ocr,下面這篇文章主要給大家介紹了關(guān)于Python通用驗證碼識別OCR庫ddddocr的安裝使用教程,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Python利用Scrapy框架爬取豆瓣電影,結(jié)合實例形式分析了Python使用Scrapy框架爬取豆瓣電影信息的具體操作步驟、實現(xiàn)技巧與相關(guān)注意事項,需要的朋友可以參考下2020-01-01
Python?seaborn數(shù)據(jù)可視化繪圖(直方圖,密度圖,散點(diǎn)圖)
這篇文章主要介紹了Python?seaborn數(shù)據(jù)可視化繪圖(直方圖,密度圖,散點(diǎn)圖)，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-07-07