使用shell腳本找出網(wǎng)站的空頁面和404錯誤頁面
更新時間：2014年11月28日 17:13:40 投稿：junjie
這篇文章主要介紹了使用shell腳本找出網(wǎng)站的空頁面和404錯誤頁面,本文使用一句話實現(xiàn),需要的朋友可以參考下
早之前記的一個筆記了，之前只是記錄了兩句代碼，放出來的話也是一個低質(zhì)量的頁面，于是設(shè)置為了僅自己可見，今晚抽空補充一下。
記得當(dāng)?shù)那榫皯?yīng)該是提交sitemap時百度老提示有錯誤的URL，導(dǎo)致sitemap不能正常被抓取，于是在想辦法解決這個問題，所以才有下面這些筆記：用shell批量找出網(wǎng)站空頁面和404錯誤頁面。
廢話不多說，直接上shell代碼：
復(fù)制代碼 代碼如下:
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一個time是為了看看代碼執(zhí)行所花的時間
%{http_code}意思是返回HTTP狀態(tài)碼，通過這個狀態(tài)碼我們就能知道該鏈接是正常的200鏈接，還是404錯誤鏈接；
%{size_download}意思是返回當(dāng)前頁面的大小，如果值太小的話，說明這些頁面很有可能是低質(zhì)量的空頁面，得想辦法剔除掉。
相關(guān)文章
關(guān)于SSH 遠(yuǎn)程執(zhí)行命令你要知道的二三事
SSH 是 Linux 下進行遠(yuǎn)程連接的基本工具，但是如果僅僅用它來登錄那可是太浪費啦！SSH 命令可是完成遠(yuǎn)程操作的神器啊，下面這篇文章主要給大家介紹了關(guān)于SSH 遠(yuǎn)程執(zhí)行命令的一些相關(guān)資料，需要的朋友可以參考下。2017-07-07
linux shell 管道命令(pipe)使用及與shell重定向區(qū)別
這篇文章主要介紹了linux shell 管道命令(pipe)使用及與shell重定向區(qū)別,需要的朋友可以參考下2015-10-10
本文小馬將把Linux一般比較常見的指令給大家一一列舉出來，為了大家忘記某些指令后，可以方便查詢記憶，再次小馬建議，Linux指令并不需要去特別花時間專門記憶，只需要多進行操作實現(xiàn)就行，這篇文章主要介紹了Linux基本指令,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了linux 網(wǎng)卡配置詳解及實例的相關(guān)資料,需要的朋友可以參考下2017-05-05
這篇文章主要介紹了Python使用淘寶API查詢IP歸屬地功能分享,本文可以查詢到國家、運營商、區(qū)域、省份、城市、縣/區(qū)等,需要的朋友可以參考下2014-10-10
shell實現(xiàn)學(xué)生成績管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了shell實現(xiàn)學(xué)生成績管理系統(tǒng)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
HBase是一個分布式的、面向列的開源數(shù)據(jù)庫,源于google的一篇論文《bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)》2012-09-09
這篇文章主要介紹了shell腳本中取消重定向的方法實例,本文直接給出代碼實例,需要的朋友可以參考下2015-03-03
通過Spring Shell 開發(fā) Java 命令行應(yīng)用
這篇文章主要介紹了通過Spring Shell 開發(fā) Java 命令行應(yīng)用的相關(guān)資料，非常不錯，具有參考借鑒價值,需要的朋友可以參考下2017-11-11
這篇文章主要介紹了Linux實現(xiàn)徹底刪除指定路徑下的所有空文件夾。這里的空文件夾的認(rèn)定標(biāo)準(zhǔn)是：如果某個文件夾的子文件夾全是空文件夾，也認(rèn)為該文件夾是空文件夾，需要的可以參考一下2022-10-10