學(xué)習(xí)Python爬蟲前必掌握知識(shí)點(diǎn)

更新時(shí)間：2021年04月08日 11:27:45 作者：互聯(lián)網(wǎng)老辛

這篇文章主要介紹了學(xué)習(xí)Python爬蟲前,我們需要了解涉及爬蟲的知識(shí)點(diǎn)，學(xué)習(xí)爬蟲的知識(shí)點(diǎn)比較多，我們一起學(xué)習(xí)爬蟲吧

常見的協(xié)議

http和https
http協(xié)議：
超文本傳輸協(xié)議，是一個(gè)發(fā)布和接受HTML頁面的方法，端口是80

https 協(xié)議：http協(xié)議的加密版本，在HTTP下加上了ssl層，端口是443

下面訪問的是美團(tuán)的官網(wǎng)：
可以看到端口是443

在這里插入圖片描述

URL和RUI

常見的請求方式

http協(xié)議規(guī)定了瀏覽器與服務(wù)器進(jìn)行數(shù)據(jù)交互過程中必須要選擇一種交互方式
在http協(xié)議中定義了8中請求方式，常見的是get和post請求

get請求：一般只從服務(wù)器獲取數(shù)據(jù)下來，并不會(huì)對服務(wù)器資源產(chǎn)生任何的影響。

在這里插入圖片描述
請求的時(shí)候關(guān)注：

url請求方式請求頭

post請求：向服務(wù)器發(fā)送數(shù)據(jù)（登陸），上傳文件等，會(huì)對服務(wù)器資源產(chǎn)生影響的時(shí)候，會(huì)使用post請求。

不過有些網(wǎng)站做了反爬蟲機(jī)制，你去查看信息，也是使用post請求，所以我們寫爬蟲的時(shí)候，一定要分析網(wǎng)站。

常見的請求頭參數(shù)：

http協(xié)議中，向服務(wù)器發(fā)送一個(gè)請求，數(shù)據(jù)分為三部分：

把數(shù)據(jù)放在url中
數(shù)據(jù)放在body中，（post請求）
數(shù)據(jù)放在head中

常見的請求頭參數(shù)：

user-agent :瀏覽器名稱
referer: 當(dāng)前這個(gè)請求從哪個(gè)url過來的
cookie:http 協(xié)議是無狀態(tài)的，也就是一個(gè)人發(fā)送了兩次請求，服務(wù)器沒有能力知道這兩個(gè)請求是否來自同一個(gè)人。

在這里插入圖片描述

常見的相應(yīng)狀態(tài)碼

200 請求正常，服務(wù)器正常返回?cái)?shù)據(jù)
301 永久重定向
404 請求的url在服務(wù)器上找不到
418 發(fā)送請求遇到服務(wù)器端的反爬蟲，服務(wù)器拒絕相應(yīng)數(shù)據(jù)
500 服務(wù)器內(nèi)部錯(cuò)誤，可能是服務(wù)器出現(xiàn)了bug

HTTP的請求相應(yīng)過程

在這里插入圖片描述

使用瀏覽器進(jìn)行網(wǎng)站分析

我們要分析的網(wǎng)站為： movie.douban.com

在這里插入圖片描述

Elements：用于分析網(wǎng)站的結(jié)構(gòu)

在頁面上的呈現(xiàn)的內(nèi)容，在Elements都會(huì)有相應(yīng)的元素。

在這里插入圖片描述

Console: 這里會(huì)打印招聘信息，警告等等。

在這里插入圖片描述

Sources
Network ：在顯示頁面的時(shí)候，產(chǎn)生的所有請求

headers 頭部信息

session 與cookie

session代表的是服務(wù)器和瀏覽器的一次會(huì)話過程
session 是一種服務(wù)器端的機(jī)制，用來存儲(chǔ)特定用戶的會(huì)話所需要的信息，保存在內(nèi)存，緩存，或者數(shù)據(jù)庫中。

cookie
cooke是由服務(wù)器端生成后發(fā)送給客戶端，cookie是保存在客戶端的

cookie原理：
1）創(chuàng)建cookie
2) 設(shè)置存儲(chǔ)cookie
3) 發(fā)送cookie
4) 讀取cookie

到此這篇關(guān)于學(xué)習(xí)Python爬蟲前,需要先掌握哪些知識(shí)內(nèi)容的文章就介紹到這了,更多相關(guān)學(xué)習(xí)Python爬蟲掌握知識(shí)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: