Python使用Scrapy保存控制臺(tái)信息到文本解析
更新時(shí)間：2017年12月27日 09:02:01 作者：曾是土木人
這篇文章主要介紹了Python使用Scrapy保存控制臺(tái)信息到文本解析，具有一定借鑒價(jià)值,需要的朋友可以參考下
在Windows平臺(tái)下，如果想運(yùn)行爬蟲(chóng)的話，就需要在cmd中輸入：
scrapy crawl spider_name
這時(shí)，爬蟲(chóng)就能啟動(dòng)，并在控制臺(tái)（cmd）中打印一些信息，如下圖所示：
但是，cmd中默認(rèn)只能顯示幾屏的信息，其他的信息就無(wú)法看到。
如果我們想查看爬蟲(chóng)在運(yùn)行過(guò)程中的調(diào)試信息或錯(cuò)誤信息的話，會(huì)很不方便。
此時(shí)，我們就可以將控制臺(tái)的信息寫(xiě)入的一個(gè)文本文件中去，方便我們查看。
命令如下:
D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log
總結(jié)
以上就是本文關(guān)于Python使用Scrapy保存控制臺(tái)信息到文本解析的全部?jī)?nèi)容，希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題，如有不足之處，歡迎留言指出。感謝朋友們對(duì)本站的支持！
相關(guān)文章
iter()是Python的內(nèi)置函數(shù),用于生成迭代器,允許逐個(gè)訪問(wèn)元素,節(jié)省內(nèi)存使用,iter()可以應(yīng)用于文件對(duì)象,實(shí)現(xiàn)逐行讀取,此外,iter()還可以與自定義結(jié)束標(biāo)記結(jié)合使用,適用于處理固定塊數(shù)據(jù)讀取,相較于其他文件讀取方法,iter()方法簡(jiǎn)單高效,適合處理大文件,減少內(nèi)存占用2024-10-10
Django外鍵（ForeignKey）操作以及related_name的作用詳解
這篇文章主要介紹了Django外鍵（ForeignKey）操作以及related_name的作用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Python實(shí)現(xiàn)簡(jiǎn)易超市管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python如何實(shí)現(xiàn)簡(jiǎn)易超市管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-09-09
python如何將兩個(gè)數(shù)據(jù)表中的對(duì)應(yīng)數(shù)據(jù)相加
這篇文章主要介紹了python如何將兩個(gè)數(shù)據(jù)表中的對(duì)應(yīng)數(shù)據(jù)相加問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
關(guān)于Python八大排序?qū)崿F(xiàn)方法(冒泡排序、快速排序等)
這篇文章主要介紹了關(guān)于Python八大排序?qū)崿F(xiàn)方法,主要有基數(shù)排序、歸并排序、堆排序、簡(jiǎn)單選擇排序、直接插入排序、希爾排序、快速排序、冒泡排序等,需要的朋友可以參考下2023-03-03
python 用 xlwings 庫(kù) 生成圖表的操作方法
這篇文章主要介紹了python 用 xlwings 庫(kù) 生成圖表的方法,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-12-12
這篇文章主要介紹了Python類super()及私有屬性原理解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06
Python通用驗(yàn)證碼識(shí)別OCR庫(kù)ddddocr的安裝使用教程
dddd_ocr是一個(gè)用于識(shí)別驗(yàn)證碼的開(kāi)源庫(kù),又名帶帶弟弟ocr,下面這篇文章主要給大家介紹了關(guān)于Python通用驗(yàn)證碼識(shí)別OCR庫(kù)ddddocr的安裝使用教程,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Python利用Scrapy框架爬取豆瓣電影,結(jié)合實(shí)例形式分析了Python使用Scrapy框架爬取豆瓣電影信息的具體操作步驟、實(shí)現(xiàn)技巧與相關(guān)注意事項(xiàng),需要的朋友可以參考下2020-01-01
Python?seaborn數(shù)據(jù)可視化繪圖(直方圖,密度圖,散點(diǎn)圖)
這篇文章主要介紹了Python?seaborn數(shù)據(jù)可視化繪圖(直方圖,密度圖,散點(diǎn)圖)，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的朋友可以參考一下2022-07-07