火車頭采集時(shí) 采網(wǎng)址--重復(fù)網(wǎng)址的臨時(shí)解決方法

所以下面給出臨時(shí)的解決方法: 我這里是用的 火車頭采集器2010sp2個(gè)人版。
商業(yè)版用戶的采集后的網(wǎng)址都存儲(chǔ)在 PageUrl 目錄里面的,一個(gè)任務(wù)對(duì)應(yīng)一個(gè)db3.大家可以從最上面的任務(wù)往下數(shù)第一個(gè),對(duì)應(yīng)的就是Site_*.db3.這樣大家可以先備份一下,然后清空也不怕了,到時(shí)候直接還原用戶名既可以,如果怕出錯(cuò),全部保存,一會(huì)恢復(fù)即可。
如圖:
如果想更進(jìn)一步的查看,這個(gè)db3其實(shí)就是sqlite數(shù)據(jù)庫(kù)格式的文件,可以用db3數(shù)據(jù)庫(kù)編輯器 查看修改。根據(jù)jobid查看,有朋友問(wèn)不知道jobid怎么辦,呵呵,大家可以到 Data 目錄查看 3-新浪國(guó)內(nèi)新聞 后面的新浪國(guó)內(nèi)新聞就是你自定義的網(wǎng)站欄目名稱。這個(gè)跟jobid對(duì)應(yīng)上即可。
如圖:
最后大家備份好數(shù)據(jù)庫(kù)以后就可以(需要備份在 PageUrl 與 Data目錄的你的任務(wù)名對(duì)應(yīng)的文件夾,最好是全部以防萬(wàn)一,采集完就可以覆蓋下。)
后來(lái)從網(wǎng)站也看到了如下文件,跟我的這篇大同小異。大家可以參考下。
火車頭是一個(gè)不錯(cuò)的采集軟件,“盜亦有道”,看你如何利用了。
Linker以前也偶爾研究下火車頭采集軟件,只是一直沒(méi)有購(gòu)買商業(yè)版本,想想,現(xiàn)在的版本遠(yuǎn)沒(méi)有以前的1.x和2.x版本來(lái)得爽快。
一位兄弟,昨晚說(shuō)他的火車頭采集軟件(企業(yè)版本的哦,有錢人?。偸翘崾救蝿?wù)地址庫(kù)重復(fù),研究了下,比較簡(jiǎn)單,告訴了他處理的方法,另外,經(jīng)過(guò)搜索發(fā)現(xiàn),火車頭的3.0 sp1版本有過(guò)這個(gè)bug,清除不掉任務(wù)地址庫(kù),但管理員已經(jīng)在sp2版本中解決掉這個(gè)問(wèn)題了。
后來(lái)這位朋友又問(wèn)火車頭采集軟件的任務(wù)地址庫(kù)是哪個(gè)文件?怎么樣保存任務(wù)地址庫(kù)?怎么樣手動(dòng)清理任務(wù)地址庫(kù)文件?據(jù)Linker所知,編輯任務(wù)地址庫(kù),需要是商業(yè)版本了,如果想手動(dòng)來(lái)處理,可以發(fā)現(xiàn),手動(dòng)地址庫(kù)文件是在火車頭根目錄下的pageurl目錄中,每一個(gè)任務(wù)對(duì)應(yīng)一個(gè)地址庫(kù)文件,mdb格式的,打開(kāi)可以發(fā)現(xiàn),具體地址是被加密了?;疖囶^也有些太商業(yè)了,嘿嘿!
既然知道任務(wù)地址庫(kù)的位置和文件了,手動(dòng)清理任務(wù)地址庫(kù),自然就簡(jiǎn)單了。刪除讓火車頭重復(fù)(刪除后,編輯該任務(wù),再保存),或者直接刪除該庫(kù)里面的記錄,都可以。想另存為其他任務(wù)所用,重命令為其它任務(wù)的id就行了。
簡(jiǎn)單測(cè)試通過(guò)。 腳本之家原創(chuàng)文章。
相關(guān)文章
職場(chǎng)人慌了! DeepSeek配合Mermaid自動(dòng)繪圖的技巧
DeepSeek這玩意兒,配合Mermaid,自動(dòng)生成甘特圖,這速度,這效率,簡(jiǎn)直了神奇了,下面我們就來(lái)看看用法2025-03-05建議收藏! 15 個(gè)很強(qiáng)的 DeepSeek 提示詞
今天匯總15個(gè)很值得收藏的DeepSeek 提示詞,包含職場(chǎng)打工人必備,自媒體爆款創(chuàng)作,學(xué)生黨逆襲,個(gè)人成長(zhǎng)開(kāi)掛等等全方面2025-03-04如何在iPhone上部署DeepSeek-R1? DeepSeek-R1在手機(jī)上部署全攻略
你以為只在大機(jī)器上跑的模型,其實(shí)在手機(jī)上也能玩得轉(zhuǎn)!為了體驗(yàn)一下國(guó)產(chǎn)模型的魅力,我在蘋果手機(jī)上部署了DeepSeek-R1 1.5B版,詳細(xì)步驟如下2025-03-017天帶你從入門到精通! DeepSeek實(shí)操手冊(cè)建議收藏
我們之前分享了很多DeepSeek安裝及本地部署教程,今天我們來(lái)看看怎么馴化DeepSeek為自己服務(wù),下面我們就來(lái)看看DeepSeek 7天指導(dǎo)手冊(cè)2025-02-21手機(jī)端本地部署 Deepseek +桌面端 Deepseek 搭建知識(shí)庫(kù)指南
關(guān)于 Deepseek,這段時(shí)間也傳來(lái)不少新聞,本文將介紹如何在安卓手機(jī)和桌面設(shè)備上分別部署本地運(yùn)行的 Deepseek R1 模型,并搭建知識(shí)庫(kù),詳細(xì)如下文2025-02-21DeepSeek-R1 與 AnythingLLM 安裝部署本地知識(shí)庫(kù)詳細(xì)教程
DeepSeek R1是目前最火的大模型,近來(lái)有很多朋友問(wèn)怎么搭建DeepSeek 本地知識(shí)庫(kù),在這里分享一種使用DeepSeek + AnythingLLM快速搭建本地知識(shí)庫(kù)的方法,完全本地化,懶人必2025-02-20DeepSeek怎么獲取官方API? 一文教會(huì)你獲取DeepSeek官方API技巧
想要體驗(yàn)DeepSeek,該怎么貨期官方API呢?下面我們就來(lái)看看獲取DeepSeek官方API的詳細(xì)圖文教程2025-02-12DeepSeek怎么一秒生成工作表目錄? DeepSeek辦公自動(dòng)化的技巧
面對(duì)日益增長(zhǎng)的數(shù)據(jù)量和復(fù)雜多變的業(yè)務(wù)需求,傳統(tǒng)的Excel操作方式在效率和靈活性上逐漸顯露出不足,如果接入DeepSeek就可以補(bǔ)足缺陷,詳細(xì)請(qǐng)看下文介紹2025-02-12DeepSeek入門必備技巧與隱藏功能! DeepSeek新手使用指南
幾乎一夜之間,所有人都在關(guān)注DeepSeek,今天就來(lái)聊一聊DeepSeek,從什么是DeepSeek開(kāi)始,到火爆原因,怎么下載使用,以及使用場(chǎng)合和隱藏功能分享,詳細(xì)如下2025-02-12DeepSeek卡頓延遲問(wèn)題怎么解決? 流暢使用DeepSeek的方法大全
由于deepseek人氣越來(lái)越高,讓越來(lái)越多人開(kāi)始使用deepseek,另一方面由于前陣子登錄熱搜的外網(wǎng)網(wǎng)絡(luò)攻擊,導(dǎo)致用戶在使用時(shí)常常還沒(méi)說(shuō)幾句話,就出現(xiàn)服務(wù)器繁忙字樣,或使用2025-02-12