php實(shí)現(xiàn)爬取和分析知乎用戶數(shù)據(jù)
背景說明:小拽利用php的curl寫的爬蟲,實(shí)驗(yàn)性的爬取了知乎5w用戶的基本信息;同時(shí),針對(duì)爬取的數(shù)據(jù),進(jìn)行了簡單的分析呈現(xiàn)。
php的spider代碼和用戶dashboard的展現(xiàn)代碼,整理后上傳github,在個(gè)人博客和公眾號(hào)更新代碼庫,程序僅供娛樂和學(xué)習(xí)交流;如果有侵犯知乎相關(guān)權(quán)益,請(qǐng)盡快聯(lián)系本人刪除。
無圖無真相
移動(dòng)端分析數(shù)據(jù)截圖
pc端分析數(shù)據(jù)截圖
整個(gè)爬取,分析,展現(xiàn)過程大概分如下幾步,小拽將分別介紹
- curl爬取知乎網(wǎng)頁數(shù)據(jù)
- 正則分析知乎網(wǎng)頁數(shù)據(jù)
- 數(shù)據(jù)數(shù)據(jù)入庫和程序部署
- 數(shù)據(jù)分析和呈現(xiàn)
curl爬取網(wǎng)頁數(shù)據(jù)
PHP的curl擴(kuò)展是PHP支持的,允許你與各種服務(wù)器使用各種類型的協(xié)議進(jìn)行連接和通信的庫。是一個(gè)非常便捷的抓取網(wǎng)頁的工具,同時(shí),支持多線程擴(kuò)展。
本程序抓取的是知乎對(duì)外提供用戶訪問的個(gè)人信息頁面https://www.zhihu.com/people/xxx,抓取過程需要攜帶用戶cookie才能獲取頁面。直接上碼
獲取頁面cookie
// 登錄知乎,打開個(gè)人中心,打開控制臺(tái),獲取cookie
document.cookie
"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"
抓取個(gè)人中心頁面
通過curl,攜帶cookie,先抓取本人中心頁面
/** * 通過用戶名抓取個(gè)人中心頁面并存儲(chǔ) * * @param $username str :用戶名 flag * @return boolean :成功與否標(biāo)志 */ public function spiderUser($username) { $cookie = "xxxx" ; $url_info = 'http://www.zhihu.com/people/' . $username; //此處cui-xiao-zhuai代表用戶ID,可以直接看url獲取本人id $ch = curl_init($url_info); //初始化會(huì)話 curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_COOKIE, $cookie); //設(shè)置請(qǐng)求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //將curl_exec()獲取的信息以文件流的形式返回,而不是直接輸出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $result = curl_exec($ch); file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result); return true; }
正則分析網(wǎng)頁數(shù)據(jù)分析新鏈接,進(jìn)一步爬取
對(duì)于抓取過來的網(wǎng)頁進(jìn)行存儲(chǔ),要想進(jìn)行進(jìn)一步的爬取,頁面必須包含有可用于進(jìn)一步爬取用戶的鏈接
。通過對(duì)知乎頁面分析發(fā)現(xiàn):在個(gè)人中心頁面中有關(guān)注人和部分點(diǎn)贊人和被關(guān)注人。
如下所示
// 抓取的html頁面中發(fā)現(xiàn)了新的用戶,可用于爬蟲
<a class="zm-item-link-avatar avatar-link" href="/people/new-user" data-tip="p$t$new-user">
ok,這樣子就可以通過自己-》關(guān)注人-》關(guān)注人的關(guān)注人-》。。。進(jìn)行不斷爬取。接下來就是通過正則匹配提取該信息
// 匹配到抓取頁面的所有用戶
preg_match_all('/\/people\/([\w-]+)\"/i', $str, $match_arr);
// 去重合并入新的用戶數(shù)組,用戶進(jìn)一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));
到此,整個(gè)爬蟲過程就可以順利進(jìn)行了。
如果需要大量的抓取數(shù)據(jù),可以研究下curl_multi
和pcntl
進(jìn)行多線程的快速抓取,此處不做贅述。
分析用戶數(shù)據(jù),提供分析
通過正則可以進(jìn)一步匹配出更多的該用戶數(shù)據(jù),直接上碼。
// 獲取用戶頭像 preg_match('/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i', $str, $match_img); $img_url = $match_img[1]; // 匹配用戶名: // <span class="name">崔小拽</span> preg_match('/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name); $user_name = $match_name[1]; // 匹配用戶簡介 // class bio span 中文 preg_match('/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title); $user_title = $match_title[1]; // 匹配性別 //<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男 // gender value1 ;結(jié)束 中文 preg_match('/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u', $str, $match_sex); $user_sex = $match_sex[1]; // 匹配地區(qū) //<span class="location item" title="北京"> preg_match('/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_city); $user_city = $match_city[1]; // 匹配工作 //<span class="employment item" title="人見人罵的公司">人見人罵的公司</span> preg_match('/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_employment); $user_employ = $match_employment[1]; // 匹配職位 // <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span> preg_match('/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u', $str, $match_position); $user_position = $match_position[1]; // 匹配學(xué)歷 // <span class="education item" title="研究僧">研究僧</span> preg_match('/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_education); $user_education = $match_education[1]; // 工作情況 // <span class="education-extra item" title='挨踢'>挨踢</span> preg_match('/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}- \x{9fa5}]+)</u', $str, $match_education_extra); $user_education_extra = $match_education_extra[1]; // 匹配關(guān)注話題數(shù)量 // class="zg-link-litblue"><strong>41 個(gè)話題</strong></a> preg_match('/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i', $str, $match_topic); $user_topic = $match_topic[1]; // 關(guān)注人數(shù) // <span class="zg-gray-normal">關(guān)注了 preg_match_all('/<strong>(\d+)<.+<label>/i', $str, $match_care); $user_care = $match_care[1][0]; $user_be_careed = $match_care[1][1]; // 歷史瀏覽量 // <span class="zg-gray-normal">個(gè)人主頁被 <strong>17</strong> 人瀏覽</span> preg_match('/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i', $str, $match_browse); $user_browse = $match_browse[1];
在抓取的過程中,有條件的話,一定要通過redis入庫,確實(shí)能提升抓取和入庫效率。沒有條件的話只能通過sql優(yōu)化。這里來幾發(fā)心德。
數(shù)據(jù)庫表設(shè)計(jì)索引一定要慎重。在spider爬取的過程中,建議出了用戶名,左右字段都不要索引,包括主鍵都不要,盡可能的提高入庫效率
,試想5000w的數(shù)據(jù),每次添加一個(gè),建立索引需要多少消耗。等抓取完畢,需要分析數(shù)據(jù)時(shí),批量建立索引。
數(shù)據(jù)入庫和更新操作,一定要批量。 mysql 官方給出的增刪改的建議和速度:http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html
# 官方的最優(yōu)批量插入 INSERT INTO yourtable VALUES (1,2), (5,5), ...;
部署操作。程序在抓取過程中,有可能會(huì)出現(xiàn)異常掛掉,為了保證高效穩(wěn)定,盡可能的寫一個(gè)定時(shí)腳本。每隔一段時(shí)間干掉,重新跑,這樣即使異常掛掉也不會(huì)浪費(fèi)太多寶貴時(shí)間,畢竟,time is money。
#!/bin/bash # 干掉 ps aux |grep spider |awk '{print $2}'|xargs kill -9 sleep 5s # 重新跑 nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &
數(shù)據(jù)分析呈現(xiàn)
數(shù)據(jù)的呈現(xiàn)主要使用echarts 3.0,感覺對(duì)于移動(dòng)端兼容還不錯(cuò)。兼容移動(dòng)端的頁面響應(yīng)式布局主要通過幾個(gè)簡單的css控制,代碼如下
// 獲取用戶頭像 preg_match('/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i', $str, $match_img); $img_url = $match_img[1]; // 匹配用戶名: // <span class="name">崔小拽</span> preg_match('/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name); $user_name = $match_name[1]; // 匹配用戶簡介 // class bio span 中文 preg_match('/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title); $user_title = $match_title[1]; // 匹配性別 //<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男 // gender value1 ;結(jié)束 中文 preg_match('/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u', $str, $match_sex); $user_sex = $match_sex[1]; // 匹配地區(qū) //<span class="location item" title="北京"> preg_match('/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_city); $user_city = $match_city[1]; // 匹配工作 //<span class="employment item" title="人見人罵的公司">人見人罵的公司</span> preg_match('/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_employment); $user_employ = $match_employment[1]; // 匹配職位 // <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span> preg_match('/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u', $str, $match_position); $user_position = $match_position[1]; // 匹配學(xué)歷 // <span class="education item" title="研究僧">研究僧</span> preg_match('/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_education); $user_education = $match_education[1]; // 工作情況 // <span class="education-extra item" title='挨踢'>挨踢</span> preg_match('/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}- \x{9fa5}]+)</u', $str, $match_education_extra); $user_education_extra = $match_education_extra[1]; // 匹配關(guān)注話題數(shù)量 // class="zg-link-litblue"><strong>41 個(gè)話題</strong></a> preg_match('/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i', $str, $match_topic); $user_topic = $match_topic[1]; // 關(guān)注人數(shù) // <span class="zg-gray-normal">關(guān)注了 preg_match_all('/<strong>(\d+)<.+<label>/i', $str, $match_care); $user_care = $match_care[1][0]; $user_be_careed = $match_care[1][1]; // 歷史瀏覽量 // <span class="zg-gray-normal">個(gè)人主頁被 <strong>17</strong> 人瀏覽</span> preg_match('/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i', $str, $match_browse); $user_browse = $match_browse[1];
不足和待學(xué)習(xí)
整個(gè)過程中涉及php,shell,js,css,html,正則等語言和部署等基礎(chǔ)知識(shí),但還有諸多需要改進(jìn)完善,小拽特此記錄,后續(xù)補(bǔ)充例:
- php 采用multicul進(jìn)行多線程。
- 正則匹配進(jìn)一步優(yōu)化
- 部署和抓取過程采用redis提升存儲(chǔ)
- 移動(dòng)端布局的兼容性提升
- js的模塊化和sass書寫css。
相關(guān)文章
php+ajax實(shí)現(xiàn)無刷新動(dòng)態(tài)加載數(shù)據(jù)技術(shù)
無刷新功能我們用到很多很多的,下面我就來給各位介紹一個(gè)實(shí)例,就是實(shí)現(xiàn)php+ajax實(shí)現(xiàn)無刷新滾屏加載數(shù)據(jù),例子非常的簡單大家只要按流程來操作就可以了哦。2015-04-04CI框架AR操作(數(shù)組形式)實(shí)現(xiàn)插入多條sql數(shù)據(jù)的方法
這篇文章主要介紹了CI框架AR操作實(shí)現(xiàn)插入多條sql數(shù)據(jù)的方法,結(jié)合簡單實(shí)例形式分析了CI框架使用數(shù)組實(shí)現(xiàn)多條數(shù)據(jù)插入的方法,需要的朋友可以參考下2016-05-05利用中國天氣預(yù)報(bào)接口實(shí)現(xiàn)簡單天氣預(yù)報(bào)
這篇文章主要介紹了利用中國天氣預(yù)報(bào)接口實(shí)現(xiàn)簡單天氣預(yù)報(bào)的示例,大家參考使用吧2014-01-01PHPMailer郵件類利用smtp.163.com發(fā)送郵件方法
利用smtp.163.com 發(fā)送郵件(本地?zé)o需服務(wù)器)2008-09-09PHP使用GD庫制作驗(yàn)證碼的方法(點(diǎn)擊驗(yàn)證碼或看不清會(huì)刷新驗(yàn)證碼)
這篇文章主要介紹了PHP使用GD庫制作驗(yàn)證碼的方法(點(diǎn)擊驗(yàn)證碼或看不清會(huì)刷新驗(yàn)證碼)的相關(guān)資料,需要的朋友可以參考下2017-08-08利用phpexcel把excel導(dǎo)入數(shù)據(jù)庫和數(shù)據(jù)庫導(dǎo)出excel實(shí)現(xiàn)
本文介紹利用phpexcel對(duì)數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入excel(excel篩選)、導(dǎo)出excel,大家參考使用吧2014-01-01