batchcollect pagecollect來(lái)自官方杰奇jieqi定時(shí)采集配置方法參數(shù)詳解
更新時(shí)間:2008年07月11日 08:44:35 作者:
主要的功能頁(yè)面為pagecollect.php和batchcollect.php要實(shí)現(xiàn)采集,默認(rèn)方式是根據(jù)配置好的采集規(guī)則,在瀏覽器提交相應(yīng)的參數(shù)即可完成后面的采集入庫(kù)全部動(dòng)作。
建立批處理文件方法如下:
在任意目錄建立一個(gè)后綴名為 .bat 的文件,比如 D:\collect.bat,然后用文本編輯器輸入類似下面的代碼
@echo off
"explorer" "http://www.dbjr.com.cn/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234"
"explorer" "http://www.dbjr.com.cn/modules/article/admin/batchcollect.php?action=bcollect&siteid=1&batchids=123,234,345&jieqi_username=admin&jieqi_userpassword=1234"
exit
其中
第一句 @echo off 是表示關(guān)閉顯示
最后一句 exit 表示執(zhí)行完退出
中間每行表示一個(gè)采集命令(可以設(shè)置多行),就是利用系統(tǒng)的瀏覽器來(lái)執(zhí)行前面編輯好的采集url。
使用這樣的格式:
"explorer" "url"
前面部分是命令,后面是采集的url,也可以使用這樣的格式:
"%programfiles%\Internet Explorer\IEXPLORE.EXE" "url"
前面部分是ie瀏覽器的路徑,后面是采集的url。
這兩種命令模式的區(qū)別是,有多行命令的時(shí)候,前者會(huì)打開多個(gè)瀏覽器窗口同時(shí)執(zhí)行;而后者先打開瀏覽器執(zhí)行第一個(gè)命令,必須等這個(gè)瀏覽器關(guān)閉后才會(huì)重新打開一個(gè)瀏覽器執(zhí)行第二個(gè)命令。
編輯好上面的bat文件后,開始在任務(wù)計(jì)劃里面添加執(zhí)行這個(gè)任務(wù),主要步驟如下(每半小時(shí)執(zhí)行一次采集):
a、打開"控制面板",進(jìn)入"任務(wù)計(jì)劃"。
b、點(diǎn)"添加任務(wù)計(jì)劃"打開任務(wù)計(jì)劃向?qū)нM(jìn)行添加任務(wù)。
c、點(diǎn)"下一步",然后點(diǎn)"瀏覽"選擇要執(zhí)行的程序。(例子里面就是選擇 D:\collect.bat)
d、設(shè)置任務(wù)名稱及執(zhí)行頻率,比如選擇"每天",點(diǎn)"下一步"。
e、選擇最開始執(zhí)行的時(shí)間和日期,一般設(shè)置比當(dāng)前時(shí)間后面一點(diǎn)就行,點(diǎn)"下一步"。
f、設(shè)置執(zhí)行的用戶名和密碼(本操作系統(tǒng)的帳號(hào)),點(diǎn)"下一步"。
g、選擇"在單擊"完成"時(shí),打開此任務(wù)的高級(jí)屬性",點(diǎn)"完成"。
h、在"日程安排"里面,點(diǎn)"高級(jí)",選擇"重復(fù)任務(wù)",設(shè)置"每30分鐘"執(zhí)行一次。
i、保存以上設(shè)置后即完成系統(tǒng)任務(wù)計(jì)劃。
二、linux環(huán)境下做法
linux下可以利用的系統(tǒng)定時(shí)任務(wù)來(lái)執(zhí)行,也同樣需要先制作一個(gè)批處理的腳本,方法如下
在任意目錄建立一個(gè)后綴為 .sh 的文件,比如 /www/collect.sh ,需要賦值可執(zhí)行權(quán)限,如 chmod 755 /www/collect.sh
里面內(nèi)容如下:
wget -qO - "http://www.dbjr.com.cn/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234"
wget -qO - "http://www.dbjr.com.cn/modules/article/admin/batchcollect.php?action=bcollect&siteid=1&batchids=123,234,345&jieqi_username=admin&jieqi_userpassword=1234"
其中每行表示一個(gè)采集命令(可以設(shè)置多行),是利用系統(tǒng)的wget命令調(diào)用url執(zhí)行,并取消輸出。
每行命令如下:
wget -qO - url
前面 "wget -qO - "是wget命令及參數(shù),后面url是編輯好的采集url
編輯好 sh 文件后,用 crontab 命令添加定時(shí)任務(wù),主要步驟如下:
a、用 crontab -e 命令,打開定時(shí)任務(wù)編輯器,里面一行表示一個(gè)定時(shí)任務(wù)。
b、用vi命令,增加一行定時(shí)執(zhí)行批處理腳本的命令,格式如下:
f1 f2 f3 f4 f5 program
其中 f1 是表示分鐘,f2 表示小時(shí),f3 表示一個(gè)月份中的第幾日,f4 表示月份,f5 表示一個(gè)星期中的第幾天。program 表示要執(zhí)行的程序。
當(dāng) f1 為 * 時(shí)表示每分鐘都要執(zhí)行 program,f2 為 * 時(shí)表示每小時(shí)都要執(zhí)行程序,其余類推。
當(dāng) f1 為 a-b 時(shí)表示從第 a 分鐘到第 b 分鐘這段時(shí)間內(nèi)要執(zhí)行,f2 為 a-b 時(shí)表示從第 a 到第 b 小時(shí)都要執(zhí)行,其余類推。
當(dāng) f1 為 */n 時(shí)表示每 n 分鐘個(gè)時(shí)間間隔執(zhí)行一次,f2 為 */n 表示每 n 小時(shí)個(gè)時(shí)間間隔執(zhí)行一次,其余類推。
當(dāng) f1 為 a, b, c,... 時(shí)表示第 a, b, c,... 分鐘要執(zhí)行,f2 為 a, b, c,... 時(shí)表示第 a, b, c...個(gè)小時(shí)要執(zhí)行,其余類推。
program 為要執(zhí)行的命令或者程序文件名
例1:每30分鐘執(zhí)行一次采集
*/30 * * * * /www/collect.sh
例2:每小時(shí)的第10分鐘時(shí)候執(zhí)行一次采集
10 * * * * /www/collect.sh
c、crontab命令詳細(xì)用法請(qǐng)參看相關(guān)文檔,一般網(wǎng)上也能搜索到。
注:windows的任務(wù)計(jì)劃和linux的定時(shí)任務(wù)都可以設(shè)置多個(gè),但是要避免同一本書在同一時(shí)間開多個(gè)瀏覽器同時(shí)采集,這樣在判斷最新章節(jié)時(shí)候會(huì)出錯(cuò)。
相關(guān)文章
杰奇jieqi用戶評(píng)論vip圖標(biāo)顯示效果代碼
主要用戶突出顯示vip用戶的回復(fù),讓vip用戶更具優(yōu)勢(shì)的回復(fù),適合原創(chuàng)類網(wǎng)站增加此功能2008-06-06杰奇1.5官方升級(jí)后發(fā)現(xiàn)$i不能解析的解決方法
因?yàn)榻芷?.5里面 $i 改成數(shù)組了2008-07-07關(guān)關(guān)小說(shuō)采集器[杰奇]采集出錯(cuò)的修正方法
關(guān)關(guān)小說(shuō)采集器(杰奇版)采集“內(nèi)容為圖片”的出錯(cuò)修改辦法!2008-08-08杰奇一些安裝詳細(xì)說(shuō)明文件,比官方更細(xì)
由于官方的說(shuō)明書有些地方寫的不是很完善,所以我補(bǔ)充下! 首先在安裝杰奇程序,之前先確認(rèn)的你自己服務(wù)器的PHP環(huán)境是否正確..2008-05-05batchcollect pagecollect來(lái)自官方杰奇jieqi定時(shí)采集配置方法參數(shù)詳解
主要的功能頁(yè)面為pagecollect.php和batchcollect.php要實(shí)現(xiàn)采集,默認(rèn)方式是根據(jù)配置好的采集規(guī)則,在瀏覽器提交相應(yīng)的參數(shù)即可完成后面的采集入庫(kù)全部動(dòng)作。2008-07-07