百萬級別知乎用戶數(shù)據(jù)抓取與分析之PHP開發(fā)
這次抓取了110萬的用戶數(shù)據(jù)，數(shù)據(jù)分析結(jié)果如下：
開發(fā)前的準(zhǔn)備
安裝Linux系統(tǒng)（Ubuntu14.04），在VMWare虛擬機下安裝一個Ubuntu；
安裝PHP5.6或以上版本；
安裝curl、pcntl擴展。
使用PHP的curl擴展抓取頁面數(shù)據(jù)
PHP的curl擴展是PHP支持的允許你與各種服務(wù)器使用各種類型的協(xié)議進行連接和通信的庫。
本程序是抓取知乎的用戶數(shù)據(jù)，要能訪問用戶個人頁面，需要用戶登錄后的才能訪問。當(dāng)我們在瀏覽器的頁面中點擊一個用戶頭像鏈接進入用戶個人中心頁面的時候，之所以能夠看到用戶的信息，是因為在點擊鏈接的時候，瀏覽器幫你將本地的cookie帶上一齊提交到新的頁面，所以你就能進入到用戶的個人中心頁面。因此實現(xiàn)訪問個人頁面之前需要先獲得用戶的cookie信息，然后在每次curl請求的時候帶上cookie信息。在獲取cookie信息方面，我是用了自己的cookie，在頁面中可以看到自己的cookie信息：
一個個地復(fù)制，以"__utma=?;__utmb=?;"這樣的形式組成一個cookie字符串。接下來就可以使用該cookie字符串來發(fā)送請求。
初始的示例：
$url = 'http://www.zhihu.com/people/mora-hu/about'; //此處mora-hu代表用戶ID $ch = curl_init($url); //初始化會話 curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']); //設(shè)置請求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //將curl_exec()獲取的信息以文件流的形式返回，而不是直接輸出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $result = curl_exec($ch); return $result; //抓取的結(jié)果
運行上面的代碼可以獲得mora-hu用戶的個人中心頁面。利用該結(jié)果再使用正則表達式對頁面進行處理，就能獲取到姓名，性別等所需要抓取的信息。
圖片防盜鏈
在對返回結(jié)果進行正則處理后輸出個人信息的時候，發(fā)現(xiàn)在頁面中輸出用戶頭像時無法打開。經(jīng)過查閱資料得知，是因為知乎對圖片做了防盜鏈處理。解決方案就是請求圖片的時候在請求頭里偽造一個referer。
在使用正則表達式獲取到圖片的鏈接之后，再發(fā)一次請求，這時候帶上圖片請求的來源，說明該請求來自知乎網(wǎng)站的轉(zhuǎn)發(fā)。具體例子如下：
function getImg($url, $u_id)
{
if (file_exists('./images/' . $u_id . ".jpg"))
{
return "images/$u_id" . '.jpg';
}
if (empty($url))
{
return '';
}
$context_options = array(
'http' =>
array(
'header' => "Referer:http://www.zhihu.com"http://帶上referer參數(shù)
)
);
$context = stream_context_create($context_options);
$img = file_get_contents('http:' . $url, FALSE, $context);
file_put_contents('./images/' . $u_id . ".jpg", $img);
return "images/$u_id" . '.jpg';
}
抓取了自己的個人信息后，就需要再訪問用戶的關(guān)注者和關(guān)注了的用戶列表獲取更多的用戶信息。然后一層一層地訪問?？梢钥吹剑趥€人中心頁面里，有兩個鏈接如下：
這里有兩個鏈接，一個是關(guān)注了，另一個是關(guān)注者，以“關(guān)注了”的鏈接為例。用正則匹配去匹配到相應(yīng)的鏈接，得到url之后用curl帶上cookie再發(fā)一次請求。抓取到用戶關(guān)注了的用于列表頁之后，可以得到下面的頁面：
分析頁面的html結(jié)構(gòu)，因為只要得到用戶的信息，所以只需要框住的這一塊的div內(nèi)容，用戶名都在這里面?？梢钥吹?，用戶關(guān)注了的頁面的url是：
不同的用戶的這個url幾乎是一樣的，不同的地方就在于用戶名那里。用正則匹配拿到用戶名列表，一個一個地拼url，然后再逐個發(fā)請求（當(dāng)然，一個一個是比較慢的，下面有解決方案，這個稍后會說到）。進入到新用戶的頁面之后，再重復(fù)上面的步驟，就這樣不斷循環(huán)，直到達到你所要的數(shù)據(jù)量。
Linux統(tǒng)計文件數(shù)量
腳本跑了一段時間后，需要看看究竟獲取了多少圖片，當(dāng)數(shù)據(jù)量比較大的時候，打開文件夾查看圖片數(shù)量就有點慢。腳本是在Linux環(huán)境下運行的，因此可以使用Linux的命令來統(tǒng)計文件數(shù)量：
ls -l | grep "^-" | wc -l
其中， ls -l 是長列表輸出該目錄下的文件信息（這里的文件可以是目錄、鏈接、設(shè)備文件等）； grep "^-" 過濾長列表輸出信息， "^-" 只保留一般文件，如果只保留目錄是 "^d" ； wc -l 是統(tǒng)計輸出信息的行數(shù)。下面是一個運行示例：
插入MySQL時重復(fù)數(shù)據(jù)的處理
程序運行了一段時間后，發(fā)現(xiàn)有很多用戶的數(shù)據(jù)是重復(fù)的，因此需要在插入重復(fù)用戶數(shù)據(jù)的時候做處理。處理方案如下：
1）插入數(shù)據(jù)庫之前檢查數(shù)據(jù)是否已經(jīng)存在數(shù)據(jù)庫；
2）添加唯一索引，插入時使用 INSERT INTO ... ON DUPLICATE KEY UPDATE...
3）添加唯一索引，插入時使用 INSERT INGNORE INTO...
4）添加唯一索引，插入時使用 REPLACE INTO...
使用curl_multi實現(xiàn)多線程抓取頁面
剛開始單進程而且單個curl去抓取數(shù)據(jù)，速度很慢，掛機爬了一個晚上只能抓到2W的數(shù)據(jù)，于是便想到能不能在進入新的用戶頁面發(fā)curl請求的時候一次性請求多個用戶，后來發(fā)現(xiàn)了curl_multi這個好東西。curl_multi這類函數(shù)可以實現(xiàn)同時請求多個url，而不是一個個請求，這類似于linux系統(tǒng)中一個進程開多條線程執(zhí)行的功能。下面是使用curl_multi實現(xiàn)多線程爬蟲的示例：
$mh = curl_multi_init(); //返回一個新cURL批處理句柄
for ($i = ; $i < $max_size; $i++)
{
$ch = curl_init(); //初始化單個cURL會話
curl_setopt($ch, CURLOPT_HEADER, );
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/. (Windows NT .; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/... Safari/.');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, );
$requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch); //向curl批處理會話中添加單獨的curl句柄
}
$user_arr = array();
do {
//運行當(dāng)前 cURL 句柄的子連接
while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM);
if ($cme != CURLM_OK) {break;}
//獲取當(dāng)前解析的cURL的相關(guān)傳輸信息
while ($done = curl_multi_info_read($mh))
{
$info = curl_getinfo($done['handle']);
$tmp_result = curl_multi_getcontent($done['handle']);
$error = curl_error($done['handle']);
$user_arr[] = array_values(getUserInfo($tmp_result));
//保證同時有$max_size個請求在處理
if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, );
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/. (Windows NT .; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/... Safari/.');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, );
$requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch);
$i++;
}
curl_multi_remove_handle($mh, $done['handle']);
}
if ($active)
curl_multi_select($mh, );
} while ($active);
curl_multi_close($mh);
return $user_arr;
HTTP 429 Too Many Requests
使用curl_multi函數(shù)可以同時發(fā)多個請求，但是在執(zhí)行過程中使同時發(fā)200個請求的時候，發(fā)現(xiàn)很多請求無法返回了，即發(fā)現(xiàn)了丟包的情況。進一步分析，使用 curl_getinfo 函數(shù)打印每個請求句柄信息，該函數(shù)返回一個包含HTTP response信息的關(guān)聯(lián)數(shù)組，其中有一個字段是http_code，表示請求返回的HTTP狀態(tài)碼?？吹接泻芏鄠€請求的http_code都是429，這個返回碼的意思是發(fā)送太多請求了。我猜是知乎做了防爬蟲的防護，于是我就拿其他的網(wǎng)站來做測試，發(fā)現(xiàn)一次性發(fā)200個請求時沒問題的，證明了我的猜測，知乎在這方面做了防護，即一次性的請求數(shù)量是有限制的。于是我不斷地減少請求數(shù)量，發(fā)現(xiàn)在5的時候就沒有丟包情況了。說明在這個程序里一次性最多只能發(fā)5個請求，雖然不多，但這也是一次小提升了。
使用Redis保存已經(jīng)訪問過的用戶
抓取用戶的過程中，發(fā)現(xiàn)有些用戶是已經(jīng)訪問過的，而且他的關(guān)注者和關(guān)注了的用戶都已經(jīng)獲取過了，雖然在數(shù)據(jù)庫的層面做了重復(fù)數(shù)據(jù)的處理，但是程序還是會使用curl發(fā)請求，這樣重復(fù)的發(fā)送請求就有很多重復(fù)的網(wǎng)絡(luò)開銷。還有一個就是待抓取的用戶需要暫時保存在一個地方以便下一次執(zhí)行，剛開始是放到數(shù)組里面，后來發(fā)現(xiàn)要在程序里添加多進程，在多進程編程里，子進程會共享程序代碼、函數(shù)庫，但是進程使用的變量與其他進程所使用的截然不同。不同進程之間的變量是分離的，不能被其他進程讀取，所以是不能使用數(shù)組的。因此就想到了使用Redis緩存來保存已經(jīng)處理好的用戶以及待抓取的用戶。這樣每次執(zhí)行完的時候都把用戶push到一個already_request_queue隊列中，把待抓取的用戶（即每個用戶的關(guān)注者和關(guān)注了的用戶列表）push到request_queue里面，然后每次執(zhí)行前都從request_queue里pop一個用戶，然后判斷是否在already_request_queue里面，如果在，則進行下一個，否則就繼續(xù)執(zhí)行。
在PHP中使用redis示例：
<?php
$redis = new Redis();
$redis->connect('127.0.0.1', '6379');
$redis->set('tmp', 'value');
if ($redis->exists('tmp'))
{
echo $redis->get('tmp') . "\n";
}
使用PHP的pcntl擴展實現(xiàn)多進程
改用了curl_multi函數(shù)實現(xiàn)多線程抓取用戶信息之后，程序運行了一個晚上，最終得到的數(shù)據(jù)有10W。還不能達到自己的理想目標(biāo)，于是便繼續(xù)優(yōu)化，后來發(fā)現(xiàn)php里面有一個pcntl擴展可以實現(xiàn)多進程編程。下面是多編程編程的示例：
//PHP多進程demo
//fork10個進程
for ($i = 0; $i < 10; $i++) {
$pid = pcntl_fork();
if ($pid == -1) {
echo "Could not fork!\n";
exit(1);
}
if (!$pid) {
echo "child process $i running\n";
//子進程執(zhí)行完畢之后就退出，以免繼續(xù)fork出新的子進程
exit($i);
}
}
//等待子進程執(zhí)行完畢，避免出現(xiàn)僵尸進程
while (pcntl_waitpid(0, $status) != -1) {
$status = pcntl_wexitstatus($status);
echo "Child $status completed\n";
}
在Linux下查看系統(tǒng)的cpu信息
實現(xiàn)了多進程編程之后，就想著多開幾條進程不斷地抓取用戶的數(shù)據(jù)，后來開了8調(diào)進程跑了一個晚上后發(fā)現(xiàn)只能拿到20W的數(shù)據(jù)，沒有多大的提升。于是查閱資料發(fā)現(xiàn)，根據(jù)系統(tǒng)優(yōu)化的CPU性能調(diào)優(yōu)，程序的最大進程數(shù)不能隨便給的，要根據(jù)CPU的核數(shù)和來給，最大進程數(shù)最好是cpu核數(shù)的2倍。因此需要查看cpu的信息來看看cpu的核數(shù)。在Linux下查看cpu的信息的命令：
cat /proc/cpuinfo
其中，model name表示cpu類型信息，cpu cores表示cpu核數(shù)。這里的核數(shù)是1，因為是在虛擬機下運行，分配到的cpu核數(shù)比較少，因此只能開2條進程。最終的結(jié)果是，用了一個周末就抓取了110萬的用戶數(shù)據(jù)。
多進程編程中Redis和MySQL連接問題
在多進程條件下，程序運行了一段時間后，發(fā)現(xiàn)數(shù)據(jù)不能插入到數(shù)據(jù)庫，會報mysql too many connections的錯誤，redis也是如此。
下面這段代碼會執(zhí)行失?。?/p>
<?php
for ($i = 0; $i < 10; $i++) {
$pid = pcntl_fork();
if ($pid == -1) {
echo "Could not fork!\n";
exit(1);
}
if (!$pid) {
$redis = PRedis::getInstance();
// do something
exit;
}
}
根本原因是在各個子進程創(chuàng)建時，就已經(jīng)繼承了父進程一份完全一樣的拷貝。對象可以拷貝，但是已創(chuàng)建的連接不能被拷貝成多個，由此產(chǎn)生的結(jié)果，就是各個進程都使用同一個redis連接，各干各的事，最終產(chǎn)生莫名其妙的沖突。
解決方法：
程序不能完全保證在fork進程之前，父進程不會創(chuàng)建redis連接實例。因此，要解決這個問題只能靠子進程本身了。試想一下，如果在子進程中獲取的實例只與當(dāng)前進程相關(guān)，那么這個問題就不存在了。于是解決方案就是稍微改造一下redis類實例化的靜態(tài)方式，與當(dāng)前進程ID綁定起來。
改造后的代碼如下：
<?php
public static function getInstance() {
static $instances = array();
$key = getmypid();//獲取當(dāng)前進程ID
if ($empty($instances[$key])) {
$inctances[$key] = new self();
}
return $instances[$key];
}
PHP統(tǒng)計腳本執(zhí)行時間
因為想知道每個進程花費的時間是多少，因此寫個函數(shù)統(tǒng)計腳本執(zhí)行時間：
function microtime_float()
{
list($u_sec, $sec) = explode(' ', microtime());
return (floatval($u_sec) + floatval($sec));
}
$start_time = microtime_float();
//do something
usleep(100);
$end_time = microtime_float();
$total_time = $end_time - $start_time;
$time_cost = sprintf("%.10f", $total_time);
echo "program cost total " . $time_cost . "s\n";
相關(guān)文章
PHP制作3D扇形統(tǒng)計圖以及對圖片進行縮放操作實例
這篇文章主要介紹了PHP制作3D扇形統(tǒng)計圖以及對圖片進行縮放操作實例,需要的朋友可以參考下2014-10-10
本篇文章主要通過代碼給大家介紹php文件擴展名判斷以及獲取文件擴展名的N種方法，需要的朋友跟著腳本之家小編一起學(xué)習(xí)學(xué)習(xí)吧2015-09-09
CodeIgniter輔助之第三方類庫third_party用法分析
這篇文章主要介紹了CodeIgniter輔助之第三方類庫third_party用法,以CI集成Twig模版為例分析了CodeIgniter集成第三方類庫的實現(xiàn)步驟與相關(guān)技巧,需要的朋友可以參考下2016-01-01
微信紅包在春節(jié)的火爆程度不言而喻，廣告主投入5億現(xiàn)金紅包，與央視羊年春晚獨家合作起到了巨大的推動作用。這就像一針大補丸，在短時間內(nèi)給微信帶來了極大的關(guān)注度與流量。下面通過本篇文章學(xué)習(xí)下?lián)尲t包算法是怎樣的，小伙伴們快來一起學(xué)習(xí)吧2015-08-08
本篇文章主要介紹了Yii2使用表單上傳文件的實例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08
這篇文章主要介紹了ThinkPHP項目分組配置方法,簡單分析了項目分組的概念與相關(guān)使用技巧,需要的朋友可以參考下2016-03-03
這篇文章主要介紹了PHP7.1中使用openssl替換mcrypt的實例詳解，本文給大家介紹的非常詳細,需要的朋友可以參考下2018-07-07
這篇文章主要介紹了thinkphp多層MVC用法,結(jié)合實例分析了thinkPHP中多層MVC的具體原理與相關(guān)使用技巧,需要的朋友可以參考下2015-12-12
TP5(thinkPHP5)框架基于ajax與后臺數(shù)據(jù)交互操作簡單示例
這篇文章主要介紹了TP5(thinkPHP5)框架基于ajax與后臺數(shù)據(jù)交互操作,結(jié)合實例形式分析了thinkPHP5前端基于jQuery的ajax數(shù)據(jù)提交及后臺數(shù)據(jù)接收、處理相關(guān)操作技巧,需要的朋友可以參考下2018-09-09
關(guān)于Laravel Route重定向的一個注意點
這篇文章主要給大家介紹了關(guān)于Laravel Route重定向的一個注意點,文中給出了詳細的示例代碼，有需要的朋友可以參考借鑒，下面來一起看看吧。2017-01-01