利用PHP抓取百度閱讀的方法示例
前言
這篇文章主要介紹的是，如何利用PHP抓取百度閱讀的方法，下面話不多說，來一起看看吧。
抓取方法如下
首先在瀏覽器里打開閱讀頁面，查看源代碼后發(fā)現(xiàn)小說的內(nèi)容并不是直接寫在頁面里的，也就是說小說的內(nèi)容是通過異步加載而來的。
于是將chrome的開發(fā)者工具切到network一欄，刷新閱讀頁面，主要關(guān)注的是XHR和script兩個分類下。
經(jīng)過排查，發(fā)現(xiàn)在script分類下有個jsonp請求比較像是小說內(nèi)容，請求的地址是
http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7
返回的是一個jsonp字符串，然后我發(fā)現(xiàn)，如果把地址里面的callback=wenku7去掉，返回的就是一個json字符串，這樣解析起來就方便不少，可以直接在php里面轉(zhuǎn)換成數(shù)組。
再來分析一下返回數(shù)據(jù)的結(jié)構(gòu)，返回的json字符串之后是一個樹狀的結(jié)構(gòu)，每個節(jié)點都有一個t屬性和c屬性，t屬性用來指明這個節(jié)點的標(biāo)簽，比如h2 div等等，c屬性就是內(nèi)容了，但也有兩種可能，一個是字符串，另一個是數(shù)組，數(shù)組的每個元素都是一個節(jié)點。
這種結(jié)構(gòu)最好解析了，用一個遞歸就搞定
最終代碼如下：
<?php
class BaiduYuedu {
protected $bookId;
protected $bookToken;
protected $cookie;
protected $result;
public function __construct($bookId, $bookToken, $cookie){
$this->bookId = $bookId;
$this->bookToken = $bookToken;
$this->cookie = $cookie;
}
public static function parseNode($node){
$str = '';
if(is_string($node['c'])){
$str .= $node['c'];
}else if(is_array($node['c'])){
foreach($node['c'] as $d){
$str .= self::parseNode($d);
}
}
switch($node['t']){
case 'h2':
$str .= "\n\n";
break;
case 'br':
case 'div':
case 'p':
$str .= "\n";
break;
case 'img':
case 'span':
break;
case 'obj':
$tmp = '(' . self::parseNode($node['data'][0]) . ')';
$str .= str_replace("\n", '', $tmp);
break;
default:
trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);
break;
}
return $str;
}
public function get($page = 1){
echo "getting page {$page}...\n";
$ch = curl_init();
$url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page);
curl_setopt_array($ch, array(
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_HEADER => 0,
CURLOPT_HTTPHEADER => array('Cookie: '. $this->cookie)
));
$ret = json_decode(curl_exec($ch), true);
curl_close($ch);
$str = '';
if(!empty($ret)){
$str .= self::parseNode($ret);
$str .= $this->get($page + 1);
}
return $str;
}
public function start(){
$this->result = $this->get();
}
public function getResult(){
return $this->result;
}
public function saveTo($path){
if(empty($this->result)){
trigger_error('Result is empty', E_USER_ERROR);
return;
}
file_put_contents($path, $this->result);
echo "save to {$path}\n";
}
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');
這個類前兩個參數(shù)可以從小說的介紹頁面獲得，第一個參數(shù)bookId就是url里ebook后面跟著的字符串，第二個參數(shù)bookToken在頁面源代碼搜索bdjsonUrl，m參數(shù)后面的那個字符串就是。
注：如果不傳入百度cookie或者百度cookie無效，則只能抓取免費閱讀部分，要抓完整的內(nèi)容必須保證cookie可以正常使用。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家學(xué)習(xí)或者使用PHP能有一定的幫助，如果有疑問大家可以留言交流。
相關(guān)文章
本篇文章給大家詳細介紹了PHP開發(fā)接口使用RSA進行加密解密方法，對此有興趣的朋友可以學(xué)習(xí)下。2018-02-02
這篇文章主要介紹了PHP中應(yīng)該避免使用同名變量（拆分臨時變量）,當(dāng)一個臨時變量被賦值多次時,那么將其拆分成多個,除非它是一個循環(huán)計數(shù)器,需要的朋友可以參考下2015-04-04
解析zend studio中直接導(dǎo)入svn中的項目的方法步驟
本篇文章是對zend studio中直接導(dǎo)入svn中的項目的方法步驟進行了詳細的分析介紹，需要的朋友參考下2013-06-06
這篇文章主要介紹了PHP基于自定義函數(shù)生成笛卡爾積的方法,結(jié)合具體實例形式分析了php使用數(shù)組運算模擬集合實現(xiàn)笛卡爾積運算的相關(guān)操作技巧,需要的朋友可以參考下2017-09-09
PHP正則表達式替換站點關(guān)鍵字鏈接后空白的解決方法
php基于dom實現(xiàn)讀取圖書xml格式數(shù)據(jù)的方法
php include和require的區(qū)別深入解析