Screaming Frog SEO Spider是一款好用的網(wǎng)絡(luò)爬蟲開發(fā)工具，該軟件可以分析指定的URL，并在單獨(dú)的選項(xiàng)卡中查看內(nèi)部和外部鏈接的列表。除此之外，您還可以檢查多個(gè)鏈接的響應(yīng)時(shí)間，查看頁面標(biāo)題，它們的出現(xiàn)次數(shù)，長度和像素寬度。感興趣的朋友千萬不要錯(cuò)過了。

破解教程

1.點(diǎn)擊ScreamingFrogSEOSpider-11.1.exe啟動(dòng)軟件的安裝，點(diǎn)擊install安裝就可以了

2.顯示安裝的過程，您可以在這里設(shè)置需要安裝的數(shù)據(jù)，等待安裝完成

3.提示您Completed說明安裝完成，點(diǎn)擊close結(jié)束軟件的安裝

4.點(diǎn)擊啟動(dòng)軟件，這里是Screaming Frog SEO Spider的一些官方提示，點(diǎn)擊accept同意協(xié)議

5.進(jìn)入軟件，點(diǎn)擊Licence許可證就可以顯示激活的界面了

6.打開您下載的注冊機(jī)軟件，將得到的序列號輸入軟件就可以完成激活了

7.如圖所示，輸入Team NGEN，填寫注冊碼725B6CAA82-1542475701-E84A5678DD

軟件特色

1、找到斷開的鏈接

立即抓取網(wǎng)站，找到損壞的鏈接(404)和服務(wù)器錯(cuò)誤。批量導(dǎo)出錯(cuò)誤和源URL以修復(fù)或發(fā)送給開發(fā)人員。

2、審計(jì)重定向

找到臨時(shí)和永久的重定向，識別重定向鏈和循環(huán)，或者上傳一個(gè)網(wǎng)址列表，以在網(wǎng)站遷移中進(jìn)行審計(jì)。

3、分析頁面標(biāo)題和元數(shù)據(jù)

在抓取過程中分析頁面標(biāo)題和元描述，并確定在您的網(wǎng)站中過長，短小，缺失或重復(fù)的頁面標(biāo)題和元描述。

4、發(fā)現(xiàn)重復(fù)的內(nèi)容

使用md5算法檢查發(fā)現(xiàn)精確的重復(fù)網(wǎng)址、部分重復(fù)的網(wǎng)頁標(biāo)題、說明或標(biāo)題等元素，并找到內(nèi)容較低的網(wǎng)頁。

5、使用XPath提取數(shù)據(jù)

使用CSS Path，XPath或regex從網(wǎng)頁的HTML中收集任何數(shù)據(jù)。這可能包括社交元標(biāo)簽、額外的標(biāo)題、價(jià)格、SKU或更多!

6、審查機(jī)器人和指令

查看由robots.txt、meta robots或X-Robots-Tag指令(如“noindex”或“nofollow”)以及canonicals和rel=“next”和rel=“prev”阻止的URL。

7、生成XML站點(diǎn)地圖

快速創(chuàng)建XML站點(diǎn)地圖和圖像XML站點(diǎn)地圖，通過包含URL的高級配置，上次修改，優(yōu)先級和更改頻率。

8、與Google Analytics集成

連接到Google AnalyticsAPI，并抓取用戶數(shù)據(jù)，例如會話或跳出率和轉(zhuǎn)化次數(shù)，目標(biāo)，交易和著陸頁的收入。

軟件功能

1、查找斷開的鏈接、錯(cuò)誤和重定向

2、分析頁面標(biāo)題和元數(shù)據(jù)

3、審查元機(jī)器人和指令

4、審計(jì)hreflang屬性

5、發(fā)現(xiàn)重復(fù)的頁面

6、生成XML站點(diǎn)地圖

7、爬網(wǎng)限制

8、抓取配置

9、保存抓取并重新上傳

10、自定義源代碼搜索

11、自定義提取

12、Google Analytics集成

13、Search Console集成

14、鏈接指標(biāo)集成

15、JavaScript渲染抓取

16、自定義robots.txt抓取

使用簡介

一、爬行抓取

1、常規(guī)抓取

在常規(guī)抓取模式下，Screaming Frog SEO Spider會抓取您輸入的子域名，并將默認(rèn)情況下所遇到的所有其他子域名視為外部鏈接(顯示在“外部”標(biāo)簽下)。在該軟件的許可版本中，您可以調(diào)整配置以選擇抓取網(wǎng)站的所有子域。搜索引擎優(yōu)化蜘蛛最常見的用途之一是在網(wǎng)站上發(fā)現(xiàn)錯(cuò)誤，如斷開的鏈接，重定向和服務(wù)器錯(cuò)誤。為了更好地控制抓取，請使用您的網(wǎng)站的URI結(jié)構(gòu)、SEO spider配置選項(xiàng)，例如只抓取HTML(圖像、CSS、JS等)、排除功能、自定義robots.txt、包含功能或者更改搜索引擎優(yōu)化蜘蛛的模式，并上傳一個(gè)URI列表抓取。

2、抓取一個(gè)子文件夾

SEO Spider工具默認(rèn)從子文件夾路徑向前抓取，因此如果您希望抓取站點(diǎn)上的特定子文件夾，只需輸入具有文件路徑的URI即可。例如，如果它是一個(gè)博客，它可能是：https://www.screamingfrog.co.uk/blog/，就像我們自己的博客。通過直接輸入到SEO Spider中，它將抓取/blog/sub目錄中包含的所有URI。

3、抓取網(wǎng)址列表

通過輸入網(wǎng)址并點(diǎn)擊“開始”來抓取網(wǎng)站，您可以切換到列表模式，粘貼或上傳要抓取的特定網(wǎng)址列表。例如，在審計(jì)重定向時(shí)，這對于站點(diǎn)遷移尤其有用。

二、組態(tài)

在該工具的許可版本中，您可以保存默認(rèn)的爬網(wǎng)配置，并保存可在需要時(shí)加載的配置配置文件。

1、要將當(dāng)前配置保存為默認(rèn)值，請選擇“文件>配置>將當(dāng)前配置保存為默認(rèn)值”。

2、要保存配置文件以便將來可以加載，請單擊“文件>另存為”并調(diào)整文件名(最好是描述性的)。

3、要加載配置文件，請單擊“文件>加載”，然后選擇您的配置文件或“文件>加載最近”以從最近的列表中進(jìn)行選擇。

4、要重置為原始Screaming Frog SEO Spider默認(rèn)配置，請選擇“文件>配置>清除默認(rèn)配置”。

三、出口

頂部窗口部分的導(dǎo)出功能在頂部窗口中與您當(dāng)前的視野一起工作。因此，如果您使用過濾器并單擊“導(dǎo)出”，則只會導(dǎo)出過濾選項(xiàng)中包含的數(shù)據(jù)。

有三種主要的數(shù)據(jù)導(dǎo)出方法：

1、導(dǎo)出頂層窗口數(shù)據(jù)：只需點(diǎn)擊左上角的“導(dǎo)出”按鈕，即可從頂層窗口選項(xiàng)卡導(dǎo)出數(shù)據(jù)。

2、導(dǎo)出較低的窗口數(shù)據(jù)(URL信息、鏈接、輸出鏈接、圖像信息)：要導(dǎo)出這些數(shù)據(jù)，只需在頂部窗口中右鍵單擊要導(dǎo)出數(shù)據(jù)的URL，然后單擊“導(dǎo)出”下的“URL信息”、“鏈接”、“出鏈接”或“圖片信息”。

3、批量導(dǎo)出：位于頂層菜單下，允許批量導(dǎo)出數(shù)據(jù)。您可以通過“all in links”選項(xiàng)導(dǎo)出抓取中找到的鏈接的所有實(shí)例，也可以將所有鏈接全部導(dǎo)出到具有特定狀態(tài)代碼(如2XX，3XX，4XX或5XX響應(yīng))的URL。例如，選擇“鏈接中的客戶端錯(cuò)誤4XX”選項(xiàng)將導(dǎo)出全部鏈接到所有錯(cuò)誤頁面(例如404錯(cuò)誤頁面)。您還可以導(dǎo)出所有圖像替代文字，所有圖像缺少替代文字和所有錨點(diǎn)文字。

軟件特色1、查找損壞的鏈接

立即抓取網(wǎng)站并找到損壞的鏈接 (404) 和服務(wù)器錯(cuò)誤。批量導(dǎo)出錯(cuò)誤和源 URL 以修復(fù)或發(fā)送給開發(fā)人員。

2、審計(jì)重定向

查找臨時(shí)和永久重定向，識別重定向鏈和循環(huán)，或上傳要在站點(diǎn)遷移中審核的 URL 列表。

3、分析頁面標(biāo)題和元數(shù)據(jù)

在抓取過程中分析頁面標(biāo)題和元描述，并找出網(wǎng)站中過長、過短、缺失或重復(fù)的頁面標(biāo)題和元描述。

4、發(fā)現(xiàn)重復(fù)內(nèi)容

使用 md5 算法檢查發(fā)現(xiàn)完全重復(fù)的 URL，部分重復(fù)的元素，如頁面標(biāo)題、描述或標(biāo)題，并找到低內(nèi)容頁面。

5、使用 XPath 提取數(shù)據(jù)

使用 CSS Path、XPath 或正則表達(dá)式從網(wǎng)頁的 HTML 中收集任何數(shù)據(jù)。這可能包括社交元標(biāo)簽、附加標(biāo)題、價(jià)格、SKU 或更多！

6、查看機(jī)器人和指令

查看被 robots.txt、元機(jī)器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及規(guī)范和 rel="next" 和 rel="prev" 阻止的 URL。

7、生成 XML 站點(diǎn)地圖

快速創(chuàng)建 XML 站點(diǎn)地圖和圖像 XML 站點(diǎn)地圖，對 URL 進(jìn)行高級配置以包括、上次修改、優(yōu)先級和更改頻率。

8、與 GA、GSC 和 PSI 集成

連接到 Google Analytics、Search Console 和 PageSpeed Insights API，并在抓取中獲取所有 URL 的用戶和性能數(shù)據(jù)以獲得更深入的洞察。

9、抓取 JavaScript 網(wǎng)站

使用集成的 Chromium WRS 呈現(xiàn)網(wǎng)頁，以抓取動(dòng)態(tài)的、富含 JavaScript 的網(wǎng)站和框架，例如 Angular、React 和 Vue.js。

10、可視化站點(diǎn)架構(gòu)

使用交互式爬網(wǎng)和目錄力導(dǎo)向圖以及樹形圖站點(diǎn)可視化來評估內(nèi)部鏈接和 URL 結(jié)構(gòu)。

11、安排審計(jì)

安排抓取以選定的時(shí)間間隔運(yùn)行，并將抓取數(shù)據(jù)自動(dòng)導(dǎo)出到任何位置，包括 Google 表格?；蛘咄ㄟ^命令行完全自動(dòng)化。

12、比較爬網(wǎng)和登臺

跟蹤 SEO 問題和機(jī)會的進(jìn)展，并查看爬行之間的變化。使用高級 URL 映射將暫存與生產(chǎn)環(huán)境進(jìn)行比較。

尖叫青蛙使用教程

1、開始爬行

有兩種主要的爬行模式。抓取網(wǎng)站的默認(rèn)“蜘蛛”模式或“列表”，允許您上傳要抓取的 URL 列表。

您可以通過將主頁插入到“輸入蜘蛛的 URL”字段并單擊“開始”來開始常規(guī)的“蜘蛛”抓取。

這將抓取和審核輸入的 URL，以及它可以通過同一子域上頁面的 HTML 中的超鏈接發(fā)現(xiàn)的所有 URL。

爬取會實(shí)時(shí)更新，速度和完成和剩余的URL總數(shù)可以在應(yīng)用程序底部查看。

您可以單擊“暫停”，也可以隨時(shí)“恢復(fù)”抓取。您還可以保存抓取并稍后恢復(fù)，稍后將詳細(xì)了解保存。

如果您更愿意抓取 URL 列表而不是完整站點(diǎn)，請單擊“模式 > 列表”以上傳或粘貼 URL 列表。

2、配置爬網(wǎng)

您無需調(diào)整配置即可抓取網(wǎng)站，因?yàn)?SEO Spider 默認(rèn)設(shè)置為以與 Google 類似的方式抓取。

但是，您可以通過多種方式配置爬網(wǎng)以獲取所需數(shù)據(jù)。查看工具中“配置”下的選項(xiàng)，并參閱我們的用戶指南以了解有關(guān)每個(gè)設(shè)置的詳細(xì)信息。

一些最常見的控制抓取內(nèi)容的方法是抓取特定的子文件夾、使用排除（以避免按 URL 模式抓取 URL）或包含功能。

如果您的網(wǎng)站依賴 JavaScript 來填充內(nèi)容，您還可以在“配置 > 蜘蛛 > 渲染”下切換到JavaScript 渲染模式。

這意味著 JavaScript 被執(zhí)行，SEO Spider 將在呈現(xiàn)的 HTML 中抓取內(nèi)容和鏈接。

3、查看抓取數(shù)據(jù)

來自爬行的數(shù)據(jù)在 SEO Spider 中實(shí)時(shí)填充并顯示在選項(xiàng)卡中。“內(nèi)部”選項(xiàng)卡包括在對被爬行的網(wǎng)站的爬行中發(fā)現(xiàn)的所有數(shù)據(jù)。您可以上下滾動(dòng)并向右滾動(dòng)以查看各個(gè)列中的所有數(shù)據(jù)。

這些選項(xiàng)卡關(guān)注不同的元素，每個(gè)元素都有過濾器，可幫助按類型和發(fā)現(xiàn)的潛在問題優(yōu)化數(shù)據(jù)。

例如，“響應(yīng)代碼”選項(xiàng)卡和“客戶端錯(cuò)誤 (4xx)”過濾器將顯示發(fā)現(xiàn)的任何 404 頁面。

您可以單擊頂部窗口中的 URL，然后單擊底部的選項(xiàng)卡以填充下部窗口窗格。

這些選項(xiàng)卡提供有關(guān) URL 的更多詳細(xì)信息，例如它們的內(nèi)鏈接（鏈接到它們的頁面）、外鏈接（它們鏈接到的頁面）、圖像、資源等。

在上面的示例中，我們可以看到在抓取過程中發(fā)現(xiàn)的損壞鏈接的內(nèi)鏈。

4、發(fā)現(xiàn)錯(cuò)誤和問題

右側(cè)窗口的“概覽”選項(xiàng)卡顯示包含在每個(gè)選項(xiàng)卡和過濾器中的爬網(wǎng)數(shù)據(jù)的摘要。您可以滾動(dòng)瀏覽每個(gè)部分以識別發(fā)現(xiàn)的潛在錯(cuò)誤和問題，而無需單擊每個(gè)選項(xiàng)卡和過濾器。

在大多數(shù)過濾器的抓取過程中，受影響的 URL 數(shù)量會實(shí)時(shí)更新，您可以單擊它們直接轉(zhuǎn)到相關(guān)選項(xiàng)卡和過濾器。

SEO Spider 不會告訴您如何進(jìn)行 SEO，它會為您提供數(shù)據(jù)以做出更明智的決策。然而，“過濾器”確實(shí)提供了關(guān)于應(yīng)該解決或至少在您的站點(diǎn)上下文中進(jìn)一步考慮的特定問題的提示。

探索這些提示，如果您不確定選項(xiàng)卡或過濾器的含義，請參閱我們的用戶指南。每個(gè)選項(xiàng)卡都有一個(gè)部分（例如頁面標(biāo)題、規(guī)范和指令）來解釋每個(gè)列和過濾器。

5、導(dǎo)出數(shù)據(jù)

您可以將所有數(shù)據(jù)從爬網(wǎng)導(dǎo)出到電子表格中。只需單擊左上角的“導(dǎo)出”按鈕即可從頂部窗口選項(xiàng)卡和過濾器導(dǎo)出數(shù)據(jù)。

要導(dǎo)出下部窗口數(shù)據(jù)，請?jiān)陧敳看翱谥杏益I單擊要從中導(dǎo)出數(shù)據(jù)的 URL，然后單擊選項(xiàng)之一。

還有一個(gè)位于頂級菜單下的“批量導(dǎo)出”選項(xiàng)。這允許您導(dǎo)出源鏈接，例如帶有特定狀態(tài)代碼（如 2XX、3XX、4XX 或 5XX 響應(yīng)）的 U??RL 的“inlinks”。

在上面，選擇上面的“Client Error 4XX In Links”選項(xiàng)將導(dǎo)出所有鏈接到所有錯(cuò)誤頁面（鏈接到 404 錯(cuò)誤頁面的頁面）。

6、保存和打開抓取

您只能使用許可證保存和打開爬網(wǎng)。在默認(rèn)內(nèi)存存儲模式下，您可以隨時(shí)（暫?；蛲瓿蓵r(shí)）保存抓取并通過選擇“文件 > 保存”或“文件 > 打開”重新打開。

在數(shù)據(jù)庫存儲模式下，爬網(wǎng)會在爬網(wǎng)過程中自動(dòng)“保存”并提交到數(shù)據(jù)庫中。要打開爬網(wǎng)，請單擊主菜單中的“文件 > 爬網(wǎng)”。

“抓取”窗口顯示自動(dòng)存儲抓取的概覽，您可以在其中打開、重命名、組織到項(xiàng)目文件夾中、復(fù)制、導(dǎo)出或批量刪除它們。