本書主要介紹如何通過NLTK庫與一些Python庫的結(jié)合從而實現(xiàn)復雜的NLP任務(wù)和機器學習應(yīng)用。全書共分為10章。第1章對NLP進行了簡單介紹。第2章、第3章和第4章主要介紹一些通用的預(yù)處理技術(shù)、專屬于NLP領(lǐng)域的預(yù)處理技術(shù)以及命名實體識別技術(shù)等。第5章之后的內(nèi)容側(cè)重于介紹如何構(gòu)建一些NLP應(yīng)用，涉及文本分類、數(shù)據(jù)科學和數(shù)據(jù)處理、社交媒體挖掘和大規(guī)模文本挖掘等方面。

目錄

第1章自然語言處理簡介1
1.1為什么要學習NLP2
1.2先從Python開始吧5
1.2.1列表5
1.2.2自助功能6
1.2.3正則表達式8
1.2.4字典9
1.2.5編寫函數(shù)10
1.3向NLTK邁進11
1.4練習16
1.5小結(jié)17
第2章文本的歧義及其清理18
2.1何謂文本歧義18
2.2文本清理20
2.3語句分離器21
2.4標識化處理22
2.5詞干提取23
2.6詞形還原24
2.7停用詞移除25
2.8罕見詞移除26
2.9拼寫糾錯26
2.10練習27
2.11小結(jié)28
第3章詞性標注29
3.1何謂詞性標注29
3.1.1Stanford標注器32
3.1.2深入了解標注器33
3.1.3順序性標注器35
3.1.4Brill標注器37
3.1.5基于機器學習的標注器37
3.2命名實體識別（NER）38
3.3練習40
3.4小結(jié)41
第4章文本結(jié)構(gòu)解析43
4.1淺解析與深解析43
4.2兩種解析方法44
4.3為什么需要進行解析44
4.4不同的解析器類型46
4.4.1遞歸下降解析器46
4.4.2移位—歸約解析器46
4.4.3圖表解析器46
4.4.4正則表達式解析器47
4.5依存性文本解析48
4.6語塊分解50
4.7信息提取53
4.7.1命名實體識別（NER）53
4.7.2關(guān)系提取54
4.8小結(jié)55
第5章NLP應(yīng)用56
5.1構(gòu)建第一個NLP應(yīng)用57
5.2其他NLP應(yīng)用60
5.2.1機器翻譯60
5.2.2統(tǒng)計型機器翻譯61
5.2.3信息檢索62
5.2.4語音識別64
5.2.5文本分類65
5.2.6信息提取66
5.2.7問答系統(tǒng)67
5.2.8對話系統(tǒng)67
5.2.9詞義消歧67
5.2.10主題建模68
5.2.11語言檢測68
5.2.12光符識別68
5.3小結(jié)68
第6章文本分類70
6.1機器學習71
6.2文本分類72
6.3取樣操作74
6.3.1樸素貝葉斯法76
6.3.2決策樹79
6.3.3隨機梯度下降法80
6.3.4邏輯回歸81
6.3.5支持向量機81
6.4隨機森林算法83
6.5文本聚類83
6.6文本中的主題建模84
6.7參考資料87
6.8小結(jié)87
第7章Web爬蟲88
7.1Web爬蟲88
7.2編寫第一個爬蟲程序89
7.3Scrapy庫中的數(shù)據(jù)流92
7.3.1Scrapy庫的shell93
7.3.2目標項98
7.4生成網(wǎng)站地圖的蜘蛛程序99
7.5目標項管道100
7.6參考資料102
7.7小結(jié)102
第8章NLTK與其他Python庫的搭配運用104
8.1NumPy104
8.1.1多維數(shù)組105
8.1.2基本運算106
8.1.3從數(shù)組中提取數(shù)據(jù)107
8.1.4復雜矩陣運算108
8.2SciPy112
8.2.1線性代數(shù)113
8.2.2特征值與特征向量113
8.2.3稀疏矩陣114
8.2.4優(yōu)化措施115
8.3pandas117
8.3.1讀取數(shù)據(jù)117
8.3.2數(shù)列119
8.3.3列轉(zhuǎn)換121
8.3.4噪聲數(shù)據(jù)121
8.4matplotlib123
8.4.1子圖繪制123
8.4.2添加坐標軸124
8.4.3散點圖繪制125
8.4.4條形圖繪制126
8.4.53D繪圖126
8.5參考資料126
8.6小結(jié)127
第9章Python中的社交媒體挖掘128
9.1數(shù)據(jù)收集128
9.2數(shù)據(jù)提取132
9.3地理可視化134
9.3.1影響力檢測135
9.3.2Facebook135
9.3.3有影響力的朋友139
9.4小結(jié)141
第10章大規(guī)模文本挖掘142
10.1在Hadoop上使用Python的不同方式142
10.1.1Python的流操作143
10.1.2Hive／Pig下的UDF143
10.1.3流封裝器143
10.2Hadoop上的NLTK144
10.2.1用戶定義函數(shù)（UDF）144
10.2.2Python的流操作146
10.3Hadoop上的Scikit—learn147
10.4PySpark150
10.5小結(jié)153