自己寫(xiě)的php curl庫(kù)實(shí)現(xiàn)整站克隆功能
有時(shí)候經(jīng)常會(huì)用到一些在線手冊(cè),比如國(guó)內(nèi)或國(guó)外的,有些是訪問(wèn)速度慢,有些是作者直接吧網(wǎng)站關(guān)閉了,有些是服務(wù)器總是宕機(jī),所以還是全盤(pán)克隆到自己服務(wù)器比較爽。
庫(kù)特點(diǎn):
給定一初始連接,初始鏈接以下的層級(jí)所有文件會(huì)拷貝到本地。
多次克隆可以配置是否覆蓋。
可以配置是否下載圖片。
所有鏈接替換為相對(duì)鏈接,所以可以隨便rewrite。
絕對(duì)不會(huì)出現(xiàn)文件覆蓋等問(wèn)題。
最NB的特點(diǎn)是,沒(méi)有比這更NB的庫(kù)了。
SVN:http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php
腳本之家下載:http://xiazai.jb51.net/201502/other/CurlMulti.rar
克隆結(jié)果展示(這個(gè)克隆操作幾秒鐘就完成了):
克隆源網(wǎng)站:http://www.laruence.com/manual/
克隆結(jié)果:http://manual.phpdr.net/yaf/
Demo代碼:
<?php
class Controller_Spider extends MyYaf_Controller_Base{
function init(){
parent::init();
if(!$this->getRequest()->isCli()){
Ares_Http::error403();
}
include 'CurlMulti/CurlMulti.php';
include 'CurlMulti/MyCurl.php';
include 'phpQuery.php';
}
}
<?php
class YafdocController extends Controller_Spider {
function init() {
parent::init ();
include 'CurlMulti/MyCurl/Clone.php';
}
function indexAction() {
$url = 'http://www.laruence.com/manual';
$dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
$cacheDir = $this->getBaseDir () . '/cache/curl';
if (! is_dir ( $cacheDir )) {
mkdir ( $cacheDir );
}
$curl = new CurlMulti ();
$curl->maxThread = 10;
$curl->cache ['enable'] = true;
$curl->cache ['enableDownload'] = true;
$curl->cache ['dir'] = $cacheDir;
$curl->cache ['compress'] = true;
$clone = new MyCurl_Clone ( $curl, $url, $dir );
$clone->overwrite = true;
$clone->start ();
return false;
}
}
相關(guān)文章
PHP中通過(guò)exec調(diào)用python腳本報(bào)ModuleNotFoundError錯(cuò)誤問(wèn)題及解決方法
這篇文章主要介紹了解決php中通過(guò)exec調(diào)用python腳本報(bào)ModuleNotFoundError錯(cuò)誤,本文是在 Ubuntu 20.04 上以 ubuntu 用戶(hù)身份進(jìn)行的測(cè)試,需要的朋友可以參考下2023-07-07win10下 php安裝seaslog擴(kuò)展的詳細(xì)步驟
這篇文章主要介紹了win10下 php安裝seaslog擴(kuò)展,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-12-12php設(shè)計(jì)模式之抽象工廠模式分析【星際爭(zhēng)霸游戲案例】
這篇文章主要介紹了php設(shè)計(jì)模式之抽象工廠模式,結(jié)合星際爭(zhēng)霸游戲案例形式分析了PHP抽象工廠模式的具體原理、使用技巧與相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2020-01-01老生常談PHP面向?qū)ο笾畼?biāo)識(shí)映射
下面小編就為大家?guī)?lái)一篇老生常談PHP面向?qū)ο笾畼?biāo)識(shí)映射。小編覺(jué)得挺不錯(cuò)的?,F(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-06-06Zend Framework過(guò)濾器Zend_Filter用法詳解
這篇文章主要介紹了Zend Framework過(guò)濾器Zend_Filter用法,結(jié)合實(shí)例形式分析了過(guò)濾器Zend_Filter的功能、原理、使用方法及相關(guān)注意事項(xiàng),需要的朋友可以參考下2016-12-12