Pycharm打印大數(shù)據(jù)文件顯示不全的解決方法
前言
昨晚寫(xiě)了個(gè)小爬蟲(chóng),簡(jiǎn)單分析下發(fā)現(xiàn)可以修改請(qǐng)求的url,直接獲取所有目標(biāo)的數(shù)據(jù)。想先打印在控制臺(tái)看看,發(fā)現(xiàn)打印的數(shù)據(jù)不全,一開(kāi)始還以為被反爬蟲(chóng)了,獲取的數(shù)據(jù)本身不全,后來(lái)將數(shù)據(jù)直接保存JSON文件(3兆多大?。?,用Ubuntu文檔編輯器打不開(kāi)(直接卡死),用vim打開(kāi)發(fā)現(xiàn)數(shù)據(jù)完整(說(shuō)明爬蟲(chóng)獲取的數(shù)據(jù)本身沒(méi)毛病),再在Pycharm用Python打開(kāi)發(fā)現(xiàn)提示文件過(guò)大,打印在控制臺(tái)也還是顯示不全。
正文
原來(lái)Pycharm IDEA對(duì)能關(guān)聯(lián)的文件大小做了限制,主要是為了保護(hù)內(nèi)存,默認(rèn)值為2500kb,這對(duì)爬蟲(chóng)用戶(hù)來(lái)說(shuō)相當(dāng)不友好,但時(shí)安裝軟件的時(shí)候也不提醒下?
在Pycharm菜單找到Edit Custom Properties…
追加以下字段
idea.max.intellisense.filesize = 20000 idea.max.content.load.filesize = 20000 idea.cycle.buffer.size = 20000
其中20000代表限制大小為20000kb(暫時(shí)夠用),可自行修改
重啟Pycharm
以上就是Pycharm打印大數(shù)據(jù)文件顯示不全的解決方法的詳細(xì)內(nèi)容,更多關(guān)于Pycharm打印數(shù)據(jù)顯示不全的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python3.9 beta2版本發(fā)布了,看看這7個(gè)新的PEP都是什么
這篇文章主要介紹了Python3.9 beta2版本發(fā)布了,看看這7個(gè)新的PEP都是什么,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2020-06-06python實(shí)現(xiàn)一次創(chuàng)建多級(jí)目錄的方法
這篇文章主要介紹了python實(shí)現(xiàn)一次創(chuàng)建多級(jí)目錄的方法,涉及Python中os模塊makedirs方法的使用技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-05-05Python實(shí)現(xiàn)的字典排序操作示例【按鍵名key與鍵值value排序】
這篇文章主要介紹了Python實(shí)現(xiàn)的字典排序操作,結(jié)合實(shí)例形式分析了Python針對(duì)字典分別按照鍵名key與鍵值value進(jìn)行排序的相關(guān)操作技巧,需要的朋友可以參考下2018-12-12python通過(guò)socket實(shí)現(xiàn)多個(gè)連接并實(shí)現(xiàn)ssh功能詳解
這篇文章主要介紹了python通過(guò)socket實(shí)現(xiàn)多個(gè)連接并實(shí)現(xiàn)ssh功能詳解,具有一定參考價(jià)值,需要的朋友可以了解下。2017-11-11Python實(shí)現(xiàn)網(wǎng)站表單提交和模板
今天小編就為大家分享一篇關(guān)于Python實(shí)現(xiàn)網(wǎng)站表單提交和模板,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧2019-01-01Python利用pandas和matplotlib實(shí)現(xiàn)繪制圓環(huán)圖
在可視化的過(guò)程中,圓環(huán)圖是一種常用的方式,特別適合于展示各類(lèi)別占比情況,本文將介紹如何使用 Python中的 pandas 和 matplotlib 庫(kù),來(lái)制作一個(gè)店鋪銷(xiāo)量占比的圓環(huán)圖,需要的可以參考下2023-11-11漂亮的Django Markdown富文本app插件的實(shí)現(xiàn)
這篇文章主要介紹了漂亮的Django Markdown富文本app插件的實(shí)現(xiàn),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-01-01淺析python,PyCharm,Anaconda三者之間的關(guān)系
Python是一種跨平臺(tái)的計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言,簡(jiǎn)單來(lái)說(shuō),python就是類(lèi)似于C,Java,C++等,一種編程語(yǔ)言。這篇文章主要介紹了淺析python,PyCharm,Anaconda三者之間的關(guān)系,需要的朋友可以參考下2019-11-11Python 網(wǎng)絡(luò)編程說(shuō)明
socket 是網(wǎng)絡(luò)連接端點(diǎn)。2009-08-08