PHP批量采集下載美女圖片的實現(xiàn)代碼
更新時間：2013年06月03日 17:02:32 作者：
最近在瀏覽某個美女網(wǎng)站，但是考慮到網(wǎng)速問題，這種網(wǎng)站打開速度慢，廣告多，隨機想到使用php采集一下這些美女圖片
設計思路
考慮到單純的采集一個網(wǎng)頁的圖片，太麻煩，所以直接采集他的列表頁，獲取列表的url然后在一一采集，但是用php匹配列表頁的url太麻煩，第一列表頁有很多無效url這對我這個正則小菜鳥實在是個問題，看了一下列表頁的結構，果斷采用jquery獲取url，jquery的萬能選擇器又再次強大起來了。
jquery獲取url，然后ajax傳遞url—>對應PHP文件，遍歷url參數(shù)—->單頁面采集保存圖片
jquery程序
<script src="http://www.cztv.com/uibase/jquery.js"></script>
<script >
$(document).ready(function(){
var hrefs ='';
$('.f_folder>a').each(function(i){
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href');
if(href!='undefined'){
hrefs +=href+',';
}
})
$.getJSON("http://www.****.com/365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){
//alert(data.info);
});
});
</script>
這里把url拼接成‘，'分割的字符串傳遞url，使用getjson是為了跨域需要，關于getjson常見的幾個問題可以參看<$.getjson遇到的幾個問題>
PHP采集程序
<?php
// 抓起365圖片
error_reporting(E_ALL ^ E_NOTICE);
set_time_limit(0);//設置PHP超時時間
/**
* 得到當前時間
*/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
$stime = getMicrotime();
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',$hrefs);
//獲取指定url的所有圖片
function getimgs($url){
$dirname = basename($url,".php");
if(!file_exists($dirname)){
mkdir('365/'.$dirname.'');
}
clearstatcache();
$data = file_get_contents($url);
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches);
//$matches[3] = array_unique($matches[3]);
unset($data);
$i=0;
if(count($matches[3])>0){
foreach($matches[3] as $k=>$v){
//簡單判斷是否是標準url，而不是相對路徑
if(substr($v,0,4)=='http'){
$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
$i++;
}else{
unset($v);
}
clearstatcache();
}else{
unset($v);
}
}
unset($matches);
return $i;
}
}
foreach($urlarray as $k=>$v){
if($v!=''){
$j +=getimgs($v);
}
}
$etime = getMicrotime();
echo "合計采集了".$j."張圖片";
echo "用時".($etime-$stime)."秒";
考慮到性能問題：在getimgs方法中所用的變量都是使用后便注銷（unset）了，以便釋放內(nèi)存。
設計到的幾個知識點
判斷是否是標準有效圖片url
if(substr($v,0,4)=='http')這個只是簡單的判斷一下匹配到的圖片url是否是標準的url，因為采集的圖片可能是相對路徑的，這里我直接放棄這種圖片的采集，當然你也可以把這種圖片還原成標準圖片路徑，還有一個問題就是即使是標準url格式，這樣的圖片也未必可以采集，因為你不知道這個圖片是否還有，也許這個圖片url已經(jīng)無效了，如果你想更嚴格的判斷這個圖片url是否真實有效可以推薦看我之前的《PHP判斷遠程url是否有效的幾種方法》有三種方法可以驗證是否是有效url。
獲取圖片格式
$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展
這里使用了pathinfo的方法，總結有7種方法可以獲取到文件的格式，推薦文章：《PHP判斷圖片格式的七種方法》
下載保存到本地
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函數(shù)把一個字符串寫入文件中。
與依次調(diào)用 fopen()，fwrite() 以及 fclose() 功能一樣。
file_get_contents() 函數(shù)把整個文件讀入一個字符串中。
因為服務器支持file_get_contents，如果服務器把這個函數(shù)禁用了，可以使用curl，這個工具要比file_get_contents更加強大，推薦學習《CURL的學習和應用(附多線程)》，可以使用curl的多線程下載存儲，效果更牛逼
清除文件操作緩存
clearstatcache() 函數(shù)清除文件狀態(tài)緩存。clearstatcache() 函數(shù)會緩存某些函數(shù)的返回信息，以便提供更高的性能。但是有時候，比如在一個腳本中多次檢查同一個文件，而該文件在此腳本執(zhí)行期間有被刪除或修改的危險時，你需要清除文件狀態(tài)緩存，以便獲得正確的結果。要做到這一點，就需要使用 clearstatcache() 函數(shù)。官方手冊：
程序執(zhí)行時間計算
/**
* 得到當前時間
*/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
可以參考本博客文章；《獲取php頁面執(zhí)行時間，數(shù)據(jù)庫讀寫次數(shù)，函數(shù)調(diào)用次數(shù)等【THINKPHP】》
最后看一下效果；
409秒采集了214張圖片，大概2秒下載保存了一張圖片，圖片總大小約62M，這樣看來：
一個小時60*60可以大約下載1800張美女圖片。
考慮到單純的采集一個網(wǎng)頁的圖片，太麻煩，所以直接采集他的列表頁，獲取列表的url然后在一一采集，但是用php匹配列表頁的url太麻煩，第一列表頁有很多無效url這對我這個正則小菜鳥實在是個問題，看了一下列表頁的結構，果斷采用jquery獲取url，jquery的萬能選擇器又再次強大起來了。
jquery獲取url，然后ajax傳遞url—>對應PHP文件，遍歷url參數(shù)—->單頁面采集保存圖片
jquery程序
復制代碼 代碼如下:
<script src="http://www.cztv.com/uibase/jquery.js"></script>
<script >
$(document).ready(function(){
var hrefs ='';
$('.f_folder>a').each(function(i){
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href');
if(href!='undefined'){
hrefs +=href+',';
}
})
$.getJSON("http://www.****.com/365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){
//alert(data.info);
});
});
</script>
這里把url拼接成‘，'分割的字符串傳遞url，使用getjson是為了跨域需要，關于getjson常見的幾個問題可以參看<$.getjson遇到的幾個問題>
PHP采集程序
復制代碼 代碼如下:
<?php
// 抓起365圖片
error_reporting(E_ALL ^ E_NOTICE);
set_time_limit(0);//設置PHP超時時間
/**
* 得到當前時間
*/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
$stime = getMicrotime();
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',$hrefs);
//獲取指定url的所有圖片
function getimgs($url){
$dirname = basename($url,".php");
if(!file_exists($dirname)){
mkdir('365/'.$dirname.'');
}
clearstatcache();
$data = file_get_contents($url);
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches);
//$matches[3] = array_unique($matches[3]);
unset($data);
$i=0;
if(count($matches[3])>0){
foreach($matches[3] as $k=>$v){
//簡單判斷是否是標準url，而不是相對路徑
if(substr($v,0,4)=='http'){
$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
$i++;
}else{
unset($v);
}
clearstatcache();
}else{
unset($v);
}
}
unset($matches);
return $i;
}
}
foreach($urlarray as $k=>$v){
if($v!=''){
$j +=getimgs($v);
}
}
$etime = getMicrotime();
echo "合計采集了".$j."張圖片";
echo "用時".($etime-$stime)."秒";
考慮到性能問題：在getimgs方法中所用的變量都是使用后便注銷（unset）了，以便釋放內(nèi)存。
設計到的幾個知識點
判斷是否是標準有效圖片url
if(substr($v,0,4)=='http')這個只是簡單的判斷一下匹配到的圖片url是否是標準的url，因為采集的圖片可能是相對路徑的，這里我直接放棄這種圖片的采集，當然你也可以把這種圖片還原成標準圖片路徑，還有一個問題就是即使是標準url格式，這樣的圖片也未必可以采集，因為你不知道這個圖片是否還有，也許這個圖片url已經(jīng)無效了，如果你想更嚴格的判斷這個圖片url是否真實有效可以推薦看我之前的《PHP判斷遠程url是否有效的幾種方法》有三種方法可以驗證是否是有效url。
獲取圖片格式
$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展
這里使用了pathinfo的方法，總結有7種方法可以獲取到文件的格式，推薦文章：《PHP判斷圖片格式的七種方法》
下載保存到本地
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函數(shù)把一個字符串寫入文件中。
與依次調(diào)用 fopen()，fwrite() 以及 fclose() 功能一樣。
file_get_contents() 函數(shù)把整個文件讀入一個字符串中。
因為服務器支持file_get_contents，如果服務器把這個函數(shù)禁用了，可以使用curl，這個工具要比file_get_contents更加強大，推薦學習《CURL的學習和應用(附多線程)》，可以使用curl的多線程下載存儲，效果更牛逼
清除文件操作緩存
clearstatcache() 函數(shù)清除文件狀態(tài)緩存。clearstatcache() 函數(shù)會緩存某些函數(shù)的返回信息，以便提供更高的性能。但是有時候，比如在一個腳本中多次檢查同一個文件，而該文件在此腳本執(zhí)行期間有被刪除或修改的危險時，你需要清除文件狀態(tài)緩存，以便獲得正確的結果。要做到這一點，就需要使用 clearstatcache() 函數(shù)。官方手冊：
程序執(zhí)行時間計算
復制代碼 代碼如下:
/**
* 得到當前時間
*/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
可以參考本博客文章；《獲取php頁面執(zhí)行時間，數(shù)據(jù)庫讀寫次數(shù)，函數(shù)調(diào)用次數(shù)等【THINKPHP】》
最后看一下效果；
409秒采集了214張圖片，大概2秒下載保存了一張圖片，圖片總大小約62M，這樣看來：
一個小時60*60可以大約下載1800張美女圖片。
相關文章
解決laravel上傳圖片之后,目錄有圖片,但是訪問不到(404)的問題
今天小編就為大家分享一篇解決laravel上傳圖片之后,目錄有圖片,但是訪問不到(404)的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-10-10
Laravel5.4簡單實現(xiàn)app接口Api Token認證方法
這篇文章主要介紹了Laravel5.4簡單實現(xiàn)app接口Api Token認證，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-08-08
這篇文章主要介紹了Symfony模板的快捷變量用法,以簡單實例形式分析了Symfony模板快捷變量調(diào)用的三種常見方法,需要的朋友可以參考下2016-03-03
這篇文章主要介紹了thinkPHP5.0框架安裝方法,簡單介紹了thinkPHP5.0安裝環(huán)境、常見安裝方法與相關注意事項,需要的朋友可以參考下2017-03-03
這篇文章主要介紹了CodeIgniter中實現(xiàn)泛域名解析的方法,需要的朋友可以參考下2014-07-07
Yii2使用小技巧之通過 Composer 添加 FontAwesome 字體資源
前天幫同事改個十年前的網(wǎng)站 bug，頁面上一堆 include require 不禁讓人抱頭痛哭。看到 V2EX 上的討論說，寫 PHP 不用框架等同于耍流氓。Yii Framework 是我使用了 2 年多的 PHP 框架，器大活好，皮實耐操。 Yii2 還在 Beta 中，不過不影響拿來預研。2014-06-06
本篇文章是對php中的XML轉數(shù)組函數(shù)進行了詳細的分析介紹，需要的朋友參考下2013-06-06
這篇文章主要介紹了Yii2 assets清除緩存的方法,涉及Yii中assets相關函數(shù)調(diào)用與配置技巧,需要的朋友可以參考下2016-05-05
這篇文章主要介紹了詳解Yii2.0使用AR聯(lián)表查詢實例,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
雙向鏈表也叫雙鏈表，是鏈表的一種，它的每個數(shù)據(jù)結點中都有兩個指針，分別指向直接后繼和直接前驅。所以，從雙向鏈表中的任意一個結點開始，都可以很方便地訪問它的前驅結點和后繼結點。一般我們都構造雙向循環(huán)鏈表。2014-06-06