快捷導(dǎo)航

Python爬蟲(chóng)部分開(kāi)篇概念講解

更新時(shí)間：2021年04月08日 14:40:27 作者：互聯(lián)網(wǎng)老辛

在學(xué)習(xí)Python爬蟲(chóng)部分，需要已經(jīng)學(xué)過(guò)Python基礎(chǔ)和前端的相關(guān)知識(shí)，本文對(duì)python爬蟲(chóng)概念及原理給大家詳細(xì)介紹，需要的朋友跟隨小編一起看看吧

開(kāi)發(fā)環(huán)境介紹：

window10 操作系統(tǒng)
Python解釋器3.8
集成開(kāi)發(fā)環(huán)境pycharm

數(shù)據(jù)的來(lái)源及作用

數(shù)據(jù)的來(lái)源有哪些？

用戶(hù)產(chǎn)生的數(shù)據(jù)：百度指數(shù)
政府統(tǒng)計(jì)的數(shù)據(jù)：政府?dāng)?shù)據(jù)
數(shù)據(jù)管理公司：聚合數(shù)據(jù)
自己爬取的數(shù)據(jù)：爬取網(wǎng)站上的某些視頻

數(shù)據(jù)的作用

數(shù)據(jù)分析
智能產(chǎn)品的練習(xí)數(shù)據(jù)
其他（比如買(mǎi)賣(mài)）

爬蟲(chóng)的相關(guān)概念

a) 爬蟲(chóng)的概念

爬蟲(chóng)就是應(yīng)用程序，從網(wǎng)上下載各種各樣的資源。
換句話(huà)說(shuō)就是使用編程語(yǔ)言編寫(xiě)一個(gè)用于爬蟲(chóng)web或者app的數(shù)據(jù)應(yīng)用程序。
怎么爬取數(shù)據(jù)呢？

找到要爬取的目標(biāo)網(wǎng)站，發(fā)起請(qǐng)求
分析url是如何變化的和提取有用的url
提取有用的信息

爬蟲(chóng)什么數(shù)據(jù)都可以爬嗎？
當(dāng)然不能，需要遵守一定的規(guī)則和協(xié)議

可以看一下京東的：

在這里插入圖片描述

有些是允許的，有些是不允許的。

b) 爬蟲(chóng)分類(lèi)

通用爬蟲(chóng)

百度等搜索引擎，從一些初始的URL擴(kuò)展到整個(gè)網(wǎng)站，主要為門(mén)戶(hù)站點(diǎn)搜索引起和大型網(wǎng)站服務(wù)采集數(shù)據(jù)

聚焦網(wǎng)站爬蟲(chóng)

主題網(wǎng)絡(luò)爬蟲(chóng)，選擇性爬取根據(jù)需求相關(guān)的頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)

增量式網(wǎng)絡(luò)爬蟲(chóng)

對(duì)已經(jīng)下載的頁(yè)面采取更新知識(shí)和只爬新產(chǎn)生的。

c) 爬蟲(chóng)的原理

通用的爬蟲(chóng)原理

在這里插入圖片描述

聚焦網(wǎng)絡(luò)爬蟲(chóng)原理

在這里插入圖片描述

d) 各種語(yǔ)言寫(xiě)爬蟲(chóng)的對(duì)比

php對(duì)多線(xiàn)程，異步支持不是很友好，并發(fā)能力弱。速度和效率低
java：代碼量大，而且重構(gòu)成本比較高，任何改動(dòng)都會(huì)導(dǎo)致大量的改動(dòng)，而爬蟲(chóng)需要經(jīng)常修改采集代碼
Python：開(kāi)發(fā)效率高，代碼簡(jiǎn)潔，支持的模塊多，和HTTP請(qǐng)求和html解析模塊非常豐富，還有scrapy,scrapy-redis框架，讓開(kāi)發(fā)爬蟲(chóng)更簡(jiǎn)單。

到此這篇關(guān)于Python爬蟲(chóng)部分開(kāi)篇示例講解的文章就介紹到這了,更多相關(guān)Python爬蟲(chóng)部分開(kāi)篇示例講解內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: