本書(shū)從Python的安裝開(kāi)始，詳細(xì)講解了Python從簡(jiǎn)單程序延伸到Python網(wǎng)絡(luò)爬蟲(chóng)的全過(guò)程。本書(shū)從實(shí)戰(zhàn)出發(fā)，根據(jù)不同的需求選取不同的爬蟲(chóng)，有針對(duì)性地講解了幾種Python網(wǎng)絡(luò)爬蟲(chóng)。本書(shū)共8章，涵蓋的內(nèi)容有Python語(yǔ)言的基本語(yǔ)法、Python常用IDE的使用、Python第三方模塊的導(dǎo)入使用、Python爬蟲(chóng)常用模塊、Scrapy爬蟲(chóng)、Beautiful Soup爬蟲(chóng)、Mechanize模擬瀏覽器和Selenium模擬瀏覽器。本書(shū)所有源代碼已上傳網(wǎng)盤(pán)供讀者下載。本書(shū)內(nèi)容豐富，實(shí)例典型，實(shí)用性強(qiáng)。適合Python網(wǎng)絡(luò)爬蟲(chóng)初學(xué)者、數(shù)據(jù)分析與挖掘技術(shù)初學(xué)者，以及高校及培訓(xùn)學(xué)校相關(guān)專(zhuān)業(yè)的師生閱讀。

目 錄
第1章 Python環(huán)境配置 1
1.1Python簡(jiǎn)介 1
1.1.1Python的歷史由來(lái) 1
1.1.2Python的現(xiàn)狀 2
1.1.3Python的應(yīng)用 2
1.2Python開(kāi)發(fā)環(huán)境配置 4
1.2.1Windows下安裝Python 4
1.2.2Windows下安裝配置pip 9
1.2.3Linux下安裝Python 10
1.2.4Linux下安裝配置pip 12
1.2.5永遠(yuǎn)的開(kāi)始：hello world 15
1.3 本章小結(jié) 20
第2章 Python基礎(chǔ) 21
2.1Python變量類(lèi)型 21
2.1.1數(shù)字 21
2.1.2字符串 24
2.1.3列表 28
2.1.4元組 34
2.1.5字典 36
2.2Python語(yǔ)句 40
2.2.1條件語(yǔ)句——if else 40
2.2.2有限循環(huán)——for 41
2.2.3無(wú)限循環(huán)——while 43
2.2.4中斷循環(huán)——continue、break 45
2.2.5異常處理——try except 47
2.2.6導(dǎo)入模塊——import 49
2.3 函數(shù)和類(lèi) 53
2.3.1函數(shù) 53
2.3.2類(lèi) 59
2.4Python代碼格式 65
2.4.1Python代碼縮進(jìn) 65
2.4.2Python命名規(guī)則 66
2.4.3Python代碼注釋 68
2.5Python調(diào)試 70
2.5.1Windows下IDLE調(diào)試 70
2.5.2Linux下pdb調(diào)試 73
2.6 本章小結(jié) 77
第3章 簡(jiǎn)單的Python腳本 78
3.1 九九乘法表 78
3.1.1Project分析 78
3.1.2Project實(shí)施 78
3.2 斐波那契數(shù)列 80
3.2.1Project分析 80
3.2.2Project實(shí)施 80
3.3 概率計(jì)算 81
3.3.1Project分析 81
3.3.2Project實(shí)施 82
3.4 讀寫(xiě)文件 83
3.4.1Project分析 83
3.4.2project實(shí)施 84
3.5 本章小結(jié) 85
第4章 Python爬蟲(chóng)常用模塊 86
4.1Python標(biāo)準(zhǔn)庫(kù)之urllib2模塊 86
4.1.1urllib2請(qǐng)求返回網(wǎng)頁(yè) 86
4.1.2urllib2使用代理訪問(wèn)網(wǎng)頁(yè) 88
4.1.3urllib2修改header 91
4.2Python標(biāo)準(zhǔn)庫(kù)——logging模塊 95
4.2.1簡(jiǎn)述logging模塊 95
4.2.2自定義模塊myLog 99
4.3 其他有用模塊 102
4.3.1re模塊（正則表達(dá)式操作） 102
4.3.2sys模塊（系統(tǒng)參數(shù)獲取） 105
4.3.3time模塊（獲取時(shí)間信息） 106
4.4 本章小結(jié) 110
第5章 Scrapy爬蟲(chóng)框架 111
5.1 安裝Scrapy 111
5.1.1Windows下安裝Scrapy環(huán)境 111
5.1.2Linux下安裝Scrapy 112
5.1.3vim編輯器 113
5.2Scrapy選擇器XPath和CSS 114
5.2.1XPath選擇器 114
5.2.2CSS選擇器 117
5.2.3其他選擇器 118
5.3Scrapy爬蟲(chóng)實(shí)戰(zhàn)一：今日影視 118
5.3.1創(chuàng)建Scrapy項(xiàng)目 119
5.3.2Scrapy文件介紹 120
5.3.3Scrapy爬蟲(chóng)編寫(xiě) 123
5.4Scrapy爬蟲(chóng)實(shí)戰(zhàn)二：天氣預(yù)報(bào) 129
5.4.1項(xiàng)目準(zhǔn)備 130
5.4.2創(chuàng)建編輯Scrapy爬蟲(chóng) 131
5.4.3數(shù)據(jù)存儲(chǔ)到j(luò)son 138
5.4.4數(shù)據(jù)存儲(chǔ)到MySQL 140
5.5Scrapy爬蟲(chóng)實(shí)戰(zhàn)三：獲取代理 146
5.5.1項(xiàng)目準(zhǔn)備 146
5.5.2創(chuàng)建編輯Scrapy爬蟲(chóng) 147
5.5.3多個(gè)Spider 153
5.5.4處理Spider數(shù)據(jù) 157
5.6Scrapy爬蟲(chóng)實(shí)戰(zhàn)四：糗事百科 159
5.6.1目標(biāo)分析 159
5.6.2創(chuàng)建編輯Scrapy爬蟲(chóng) 160
5.6.3Scrapy項(xiàng)目中間件——添加headers 161
5.6.4Scrapy項(xiàng)目中間件——添加proxy 165
5.7scrapy爬蟲(chóng)實(shí)戰(zhàn)五：爬蟲(chóng)攻防 167
5.7.1創(chuàng)建一般爬蟲(chóng) 167
5.7.2封鎖間隔時(shí)間破解 171
5.7.3封鎖Cookies破解 171
5.7.4封鎖user-agent破解 171
5.7.5封鎖IP破解 174
5.8 本章小結(jié) 177
第6章 Beautiful Soup爬蟲(chóng) 178
6.1 安裝BeautifulSoup環(huán)境 178
6.1.1Windows下安裝Beautiful Soup 178
6.1.2Linux下安裝Beautiful Soup 179
6.1.3最強(qiáng)大的IDE——Eclipse 179
6.2BeautifulSoup解析器 188
6.2.1bs4解析器選擇 188
6.2.2lxml解析器安裝 189
6.2.3使用bs4過(guò)濾器 190
6.3bs4爬蟲(chóng)實(shí)戰(zhàn)一：獲取百度貼吧內(nèi)容 196
6.3.1目標(biāo)分析 196
6.3.2項(xiàng)目實(shí)施 197
6.3.3代碼分析 205
6.3.4Eclipse調(diào)試 206
6.4bs4爬蟲(chóng)實(shí)戰(zhàn)二：獲取雙色球中獎(jiǎng)信息 207
6.4.1目標(biāo)分析 207
6.4.2項(xiàng)目實(shí)施 210
6.4.3保存結(jié)果到Excel 214
6.4.4代碼分析 221
6.5bs4爬蟲(chóng)實(shí)戰(zhàn)三：獲取起點(diǎn)小說(shuō)信息 221
6.5.1目標(biāo)分析 222
6.5.2項(xiàng)目實(shí)施 223
6.5.3保存結(jié)果到MySQL 226
6.5.4代碼分析 230
6.6bs4爬蟲(chóng)實(shí)戰(zhàn)四：獲取電影信息 230
6.6.1目標(biāo)分析 230
6.6.2項(xiàng)目實(shí)施 232
6.6.3bs4反爬蟲(chóng) 235
6.6.4代碼分析 237
6.7bs4爬蟲(chóng)實(shí)戰(zhàn)五：獲取音悅臺(tái)榜單 238
6.7.1目標(biāo)分析 238
6.7.2項(xiàng)目實(shí)施 239
6.7.3代碼分析 244
6.8 本章小結(jié) 245
第7章 Mechanize模擬瀏覽器 246
7.1 安裝Mechanize模塊 246
7.1.1Windows下安裝Mechanize 246
7.1.2Linux下安裝Mechanize 247
7.2Mechanize 測(cè)試 248
7.2.1Mechanize百度 248
7.2.2Mechanize光貓F(tuán)460 251
7.3Mechanize實(shí)站一：獲取Modem信息 254
7.3.1獲取F460數(shù)據(jù) 254
7.3.2代碼分析 257
7.4Mechanize實(shí)戰(zhàn)二：獲取音悅臺(tái)公告 258
7.4.1登錄原理 258
7.4.2獲取Cookie的方法 259
7.4.3獲取Cookie 262
7.4.4使用Cookie登錄獲取數(shù)據(jù) 266
7.5 本章總結(jié) 270
第8章 Selenium模擬瀏覽器 271
8.1 安裝Selenium模塊 271
8.1.1Windows下安裝Selenium模塊 271
8.1.2Linux下安裝Selenium模塊 272
8.2 瀏覽器選擇 272
8.2.1Webdriver支持列表 272
8.2.2Windows下安裝PhantomJS 273
8.2.3Linux下安裝PhantomJS 276
8.3Selenium&PhantomJS抓取數(shù)據(jù) 277
8.3.1獲取百度搜索結(jié)果 277
8.3.2獲取搜索結(jié)果 280
8.3.3獲取有效數(shù)據(jù)位置 282
8.3.4從位置中獲取有效數(shù)據(jù) 284
8.4Selenium&PhantomJS實(shí)戰(zhàn)一：獲取代理 285
8.4.1準(zhǔn)備環(huán)境 285
8.4.2爬蟲(chóng)代碼 287
8.4.3代碼解釋 289
8.5Selenium&PhantomJS實(shí)戰(zhàn)二：漫畫(huà)爬蟲(chóng) 289
8.5.1準(zhǔn)備環(huán)境 290
8.5.2爬蟲(chóng)代碼 291
8.5.3代碼解釋 294
8.6 本章總結(jié) 294