本書從原理到實(shí)踐，循序漸進(jìn)地講述了使用Python開發(fā)網(wǎng)絡(luò)爬蟲的核心技術(shù)。全書從邏輯上可分為基礎(chǔ)篇、實(shí)戰(zhàn)篇和爬蟲框架篇三部分。基礎(chǔ)篇主要介紹了編寫網(wǎng)絡(luò)爬蟲所需的基礎(chǔ)知識(shí)，包括網(wǎng)站分析、數(shù)據(jù)抓取、數(shù)據(jù)清洗和數(shù)據(jù)入庫。網(wǎng)站分析講述如何使用Chrome和Fiddler抓包工具對(duì)網(wǎng)站做全面分析；數(shù)據(jù)抓取介紹了Python爬蟲模塊Urllib和Requests的基礎(chǔ)知識(shí)；數(shù)據(jù)清洗主要介紹字符串操作、正則和BeautifulSoup的使用；數(shù)據(jù)入庫講述了MySQL和MongoDB的操作，通過ORM框架SQLAlchemy實(shí)現(xiàn)數(shù)據(jù)持久化，進(jìn)行企業(yè)級(jí)開發(fā)。實(shí)戰(zhàn)篇深入講解了分布式爬蟲、爬蟲軟件的開發(fā)、12306搶票程序和微博爬取等?？蚣芷饕v述流行的爬蟲框架Scrapy，并以Scrapy與Selenium、Splash、Redis結(jié)合的項(xiàng)目案例，讓讀者深層次了解Scrapy的使用。

此外，本書還介紹了爬蟲的上線部署、如何自己動(dòng)手開發(fā)一款爬蟲框架、反爬蟲技術(shù)的解決方案等內(nèi)容。 本書使用Python 3.X編寫，技術(shù)先進(jìn)，項(xiàng)目豐富，適合欲從事爬蟲工程師和數(shù)據(jù)分析師崗位的初學(xué)者、大學(xué)生和研究生使用，也很適合有一些網(wǎng)絡(luò)爬蟲編寫經(jīng)驗(yàn)，但希望更加全面、深入理解Python爬蟲的開發(fā)人員使用。

目錄

第1章 理解網(wǎng)絡(luò)爬蟲
第2章 爬蟲開發(fā)基礎(chǔ)
第3章 Chrome分析網(wǎng)站
第4章 Fiddler抓包
第5章 爬蟲庫Urllib
第6章 爬蟲庫Requests
第7章 Requests-Cache爬蟲緩存
第8章 爬蟲庫Requests-HTML
第9章 網(wǎng)頁操控與數(shù)據(jù)爬取
第10章 手機(jī)App數(shù)據(jù)爬取
第11章 Splash、Mitmproxy與Aiohttp
第12章 驗(yàn)證碼識(shí)別
第13章 數(shù)據(jù)清洗
第14章 文檔數(shù)據(jù)存儲(chǔ)
第15章 ORM框架
第16章 MongoDB數(shù)據(jù)庫操作
第17章 實(shí)戰(zhàn)：爬取51Job招聘信息
第18章 實(shí)戰(zhàn)：分布式爬蟲——QQ音樂
第19章 實(shí)戰(zhàn)：12306搶票爬蟲
第20章 實(shí)戰(zhàn)：玩轉(zhuǎn)微博
第21章 實(shí)戰(zhàn)：微博爬蟲軟件開發(fā)
第22章 Scrapy爬蟲開發(fā)
第23章 Scrapy擴(kuò)展開發(fā)
第24章 實(shí)戰(zhàn)：爬取鏈家樓盤信息
第25章 實(shí)戰(zhàn)：QQ音樂全站爬取
第26章 爬蟲的上線部署
第27章 反爬蟲的解決方案
第28章 自己動(dòng)手開發(fā)爬蟲框架