本書(shū)從原理到實(shí)踐，循序漸進(jìn)地講述了使用Python開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)的核心技術(shù)。全書(shū)從邏輯上可分為基礎(chǔ)篇、實(shí)戰(zhàn)篇和爬蟲(chóng)框架篇三部分?；A(chǔ)篇主要介紹了編寫網(wǎng)絡(luò)爬蟲(chóng)所需的基礎(chǔ)知識(shí)，包括網(wǎng)站分析、數(shù)據(jù)抓取、數(shù)據(jù)清洗和數(shù)據(jù)入庫(kù)。網(wǎng)站分析講述如何使用Chrome和Fiddler抓包工具對(duì)網(wǎng)站做全面分析；數(shù)據(jù)抓取介紹了Python爬蟲(chóng)模塊Urllib和Requests的基礎(chǔ)知識(shí)；數(shù)據(jù)清洗主要介紹字符串操作、正則和BeautifulSoup的使用；數(shù)據(jù)入庫(kù)講述了MySQL和MongoDB的操作，通過(guò)ORM框架SQLAlchemy實(shí)現(xiàn)數(shù)據(jù)持久化，進(jìn)行企業(yè)級(jí)開(kāi)發(fā)。實(shí)戰(zhàn)篇深入講解了分布式爬蟲(chóng)、爬蟲(chóng)軟件的開(kāi)發(fā)、12306搶票程序和微博爬取等。框架篇主要講述流行的爬蟲(chóng)框架Scrapy，并以Scrapy與Selenium、Splash、Redis結(jié)合的項(xiàng)目案例，讓讀者深層次了解Scrapy的使用。

此外，本書(shū)還介紹了爬蟲(chóng)的上線部署、如何自己動(dòng)手開(kāi)發(fā)一款爬蟲(chóng)框架、反爬蟲(chóng)技術(shù)的解決方案等內(nèi)容。 本書(shū)使用Python 3.X編寫，技術(shù)先進(jìn)，項(xiàng)目豐富，適合欲從事爬蟲(chóng)工程師和數(shù)據(jù)分析師崗位的初學(xué)者、大學(xué)生和研究生使用，也很適合有一些網(wǎng)絡(luò)爬蟲(chóng)編寫經(jīng)驗(yàn)，但希望更加全面、深入理解Python爬蟲(chóng)的開(kāi)發(fā)人員使用。

目錄

第1章 理解網(wǎng)絡(luò)爬蟲(chóng)
第2章 爬蟲(chóng)開(kāi)發(fā)基礎(chǔ)
第3章 Chrome分析網(wǎng)站
第4章 Fiddler抓包
第5章 爬蟲(chóng)庫(kù)Urllib
第6章 爬蟲(chóng)庫(kù)Requests
第7章 Requests-Cache爬蟲(chóng)緩存
第8章 爬蟲(chóng)庫(kù)Requests-HTML
第9章 網(wǎng)頁(yè)操控與數(shù)據(jù)爬取
第10章 手機(jī)App數(shù)據(jù)爬取
第11章 Splash、Mitmproxy與Aiohttp
第12章 驗(yàn)證碼識(shí)別
第13章 數(shù)據(jù)清洗
第14章 文檔數(shù)據(jù)存儲(chǔ)
第15章 ORM框架
第16章 MongoDB數(shù)據(jù)庫(kù)操作
第17章 實(shí)戰(zhàn)：爬取51Job招聘信息
第18章 實(shí)戰(zhàn)：分布式爬蟲(chóng)——QQ音樂(lè)
第19章 實(shí)戰(zhàn)：12306搶票爬蟲(chóng)
第20章 實(shí)戰(zhàn)：玩轉(zhuǎn)微博
第21章 實(shí)戰(zhàn)：微博爬蟲(chóng)軟件開(kāi)發(fā)
第22章 Scrapy爬蟲(chóng)開(kāi)發(fā)
第23章 Scrapy擴(kuò)展開(kāi)發(fā)
第24章 實(shí)戰(zhàn)：爬取鏈家樓盤信息
第25章 實(shí)戰(zhàn)：QQ音樂(lè)全站爬取
第26章 爬蟲(chóng)的上線部署
第27章 反爬蟲(chóng)的解決方案
第28章 自己動(dòng)手開(kāi)發(fā)爬蟲(chóng)框架