thinkphp 抓取網(wǎng)站的內(nèi)容并且保存到本地的實(shí)例詳解

更新時(shí)間：2017年08月25日 11:28:37 投稿：lqh

這篇文章主要介紹了thinkphp 抓取網(wǎng)站的內(nèi)容并且保存到本地的實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下

thinkphp 抓取網(wǎng)站的內(nèi)容并且保存到本地的實(shí)例詳解

我需要寫這么一個(gè)例子，到電子課本網(wǎng)下載一本電子書。

電子課本網(wǎng)的電子書，是把書的每一頁當(dāng)成一個(gè)圖片，然后一本書就是有很多張圖片，我需要批量的進(jìn)行下載圖片操作。

下面是代碼部分：

 public function download() {
    $http = new \Org\Net\Http();
    $url_pref = "http://www.dzkbw.com/books/rjb/dili/xc7s/";
    $localUrl = "Public/bookcover/";
    $reg="|showImg\('(.+)'\);|";
    $i=1;
    
    do {
      $filename = substr("000".$i,-3).".htm";
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_URL, $url_pref.$filename);
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
      curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
      $html = curl_exec($ch);
      curl_close($ch);
      
      $result = preg_match_all($reg,$html,$out, PREG_PATTERN_ORDER);
      if($result==1) {
        $picUrl = $out[1][0];
        $picFilename = substr("000".$i,-3).".jpg";
        $http->curlDownload($picUrl, $localUrl.$picFilename);
      }
      $i = $i+1;
    } while ($result==1);

    echo "下載完成";
  }

我這里是以人教版地理七年級(jí)地理上冊(cè)為例子 http://www.dzkbw.com/books/rjb/dili/xc7s/001.htm

網(wǎng)頁是從001.htm開始，然后數(shù)字一直加

每個(gè)網(wǎng)頁里面都有一張圖，就是對(duì)應(yīng)課本的內(nèi)容，以圖片的形式展示課本內(nèi)容

我的代碼是做了一個(gè)循環(huán)，從第一頁開始抓，一直抓到找不到網(wǎng)頁里的圖片為止

抓到網(wǎng)頁的內(nèi)容后，把網(wǎng)頁里面的圖片抓取到本地服務(wù)器

抓取后的實(shí)際效果：