本書從原理到實踐，循序漸進地講述了使用Python開發(fā)網(wǎng)絡爬蟲的核心技術。全書從邏輯上可分為基礎篇、實戰(zhàn)篇和爬蟲框架篇三部分。基礎篇主要介紹了編寫網(wǎng)絡爬蟲所需的基礎知識，包括網(wǎng)站分析、數(shù)據(jù)抓取、數(shù)據(jù)清洗和數(shù)據(jù)入庫。網(wǎng)站分析講述如何使用Chrome和Fiddler抓包工具對網(wǎng)站做全面分析；數(shù)據(jù)抓取介紹了Python爬蟲模塊Urllib和Requests的基礎知識；數(shù)據(jù)清洗主要介紹字符串操作、正則和BeautifulSoup的使用；數(shù)據(jù)入庫講述了MySQL和MongoDB的操作，通過ORM框架SQLAlchemy實現(xiàn)數(shù)據(jù)持久化，進行企業(yè)級開發(fā)。實戰(zhàn)篇深入講解了分布式爬蟲、爬蟲軟件的開發(fā)、12306搶票程序和微博爬取等?？蚣芷饕v述流行的爬蟲框架Scrapy，并以Scrapy與Selenium、Splash、Redis結合的項目案例，讓讀者深層次了解Scrapy的使用。

此外，本書還介紹了爬蟲的上線部署、如何自己動手開發(fā)一款爬蟲框架、反爬蟲技術的解決方案等內容。 本書使用Python 3.X編寫，技術先進，項目豐富，適合欲從事爬蟲工程師和數(shù)據(jù)分析師崗位的初學者、大學生和研究生使用，也很適合有一些網(wǎng)絡爬蟲編寫經(jīng)驗，但希望更加全面、深入理解Python爬蟲的開發(fā)人員使用。

目錄

第1章 理解網(wǎng)絡爬蟲
第2章 爬蟲開發(fā)基礎
第3章 Chrome分析網(wǎng)站
第4章 Fiddler抓包
第5章 爬蟲庫Urllib
第6章 爬蟲庫Requests
第7章 Requests-Cache爬蟲緩存
第8章 爬蟲庫Requests-HTML
第9章 網(wǎng)頁操控與數(shù)據(jù)爬取
第10章 手機App數(shù)據(jù)爬取
第11章 Splash、Mitmproxy與Aiohttp
第12章 驗證碼識別
第13章 數(shù)據(jù)清洗
第14章 文檔數(shù)據(jù)存儲
第15章 ORM框架
第16章 MongoDB數(shù)據(jù)庫操作
第17章 實戰(zhàn)：爬取51Job招聘信息
第18章 實戰(zhàn)：分布式爬蟲——QQ音樂
第19章 實戰(zhàn)：12306搶票爬蟲
第20章 實戰(zhàn)：玩轉微博
第21章 實戰(zhàn)：微博爬蟲軟件開發(fā)
第22章 Scrapy爬蟲開發(fā)
第23章 Scrapy擴展開發(fā)
第24章 實戰(zhàn)：爬取鏈家樓盤信息
第25章 實戰(zhàn)：QQ音樂全站爬取
第26章 爬蟲的上線部署
第27章 反爬蟲的解決方案
第28章 自己動手開發(fā)爬蟲框架