欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python3爬蟲中Ajax的用法

 更新時間:2020年07月10日 14:36:40   作者:愛喝馬黛茶的安東尼  
在本篇內(nèi)容里小編給大家整理的是關(guān)于Python3爬蟲中Ajax的用法,需要的朋友們可以參考下。

Ajax,全稱為Asynchronous JavaScript and XML,即異步的JavaScript和XML。它不是一門編程語言,而是利用JavaScript在保證頁面不被刷新、頁面鏈接不改變的情況下與服務(wù)器交換數(shù)據(jù)并更新部分網(wǎng)頁的技術(shù)。

對于傳統(tǒng)的網(wǎng)頁,如果想更新其內(nèi)容,那么必須要刷新整個頁面,但有了Ajax,便可以在頁面不被全部刷新的情況下更新其內(nèi)容。在這個過程中,頁面實際上是在后臺與服務(wù)器進行了數(shù)據(jù)交互,獲取到數(shù)據(jù)之后,再利用JavaScript改變網(wǎng)頁,這樣網(wǎng)頁內(nèi)容就會更新了。

可以到W3School上體驗幾個示例來感受一下:http://www.w3school.com.cn/ajax/ajax_xmlhttprequest_send.asp。

1. 實例引入

瀏覽網(wǎng)頁的時候,我們會發(fā)現(xiàn)很多網(wǎng)頁都有下滑查看更多的選項。比如,拿微博來說,我們以我的個人的主頁為例:https://m.weibo.cn/u/2830678474,切換到微博頁面,一直下滑,可以發(fā)現(xiàn)下滑幾個微博之后,再向下就沒有了,轉(zhuǎn)而會出現(xiàn)一個加載的動畫,不一會兒下方就繼續(xù)出現(xiàn)了新的微博內(nèi)容,這個過程其實就是Ajax加載的過程,如圖6-1所示。

37804a856f3a7329a2bbc0d9c58d71b.png

我們注意到頁面其實并沒有整個刷新,也就意味著頁面的鏈接沒有變化,但是網(wǎng)頁中卻多了新內(nèi)容,也就是后面刷出來的新微博。這就是通過Ajax獲取新數(shù)據(jù)并呈現(xiàn)的過程。

2. 基本原理

初步了解了Ajax之后,我們再來詳細了解它的基本原理。發(fā)送Ajax請求到網(wǎng)頁更新的這個過程可以簡單分為以下3步:

(1) 發(fā)送請求; (2) 解析內(nèi)容; (3) 渲染網(wǎng)頁。

下面我們分別來詳細介紹這幾個過程。

發(fā)送請求

我們知道JavaScript可以實現(xiàn)頁面的各種交互功能,Ajax也不例外,它也是由JavaScript實現(xiàn)的,實際上執(zhí)行了如下代碼:

var xmlhttp;
if (window.XMLHttpRequest) {
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {// code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xmlhttp.onreadystatechange=function() {
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();

這是JavaScript對Ajax最底層的實現(xiàn),實際上就是新建了XMLHttpRequest對象,然后調(diào)用onreadystatechange屬性設(shè)置了監(jiān)聽,然后調(diào)用open()和send()方法向某個鏈接(也就是服務(wù)器)發(fā)送了請求。前面用Python實現(xiàn)請求發(fā)送之后,可以得到響應(yīng)結(jié)果,但這里請求的發(fā)送變成JavaScript來完成.由于設(shè)置了監(jiān)聽,所以當(dāng)服務(wù)器返回響應(yīng)時,onreadystatechange對應(yīng)的方法便會被觸發(fā),然后在這個方法里面解析響應(yīng)內(nèi)容即可。

解析內(nèi)容

得到響應(yīng)之后,onreadystatechange屬性對應(yīng)的方法便會被觸發(fā),此時利用xmlhttp的responseText屬性便可取到響應(yīng)內(nèi)容。這類似于Python中利用requests向服務(wù)器發(fā)起請求,然后得到響應(yīng)的過程。那么返回內(nèi)容可能是HTML,可能是JSON,接下來只需要在方法中用JavaScript進一步處理即可。比如,如果是JSON的話,可以進行解析和轉(zhuǎn)化。

渲染網(wǎng)頁

JavaScript有改變網(wǎng)頁內(nèi)容的能力,解析完響應(yīng)內(nèi)容之后,就可以調(diào)用JavaScript來針對解析完的內(nèi)容對網(wǎng)頁進行下一步處理了。比如,通過document.getElementById().innerHTML這樣的操作,便可以對某個元素內(nèi)的源代碼進行更改,這樣網(wǎng)頁顯示的內(nèi)容就改變了,這樣的操作也被稱作DOM操作,即對Document網(wǎng)頁文檔進行操作,如更改、刪除等。

上例中,document.getElementById("myDiv").innerHTML=xmlhttp.responseText便將ID為myDiv的節(jié)點內(nèi)部的HTML代碼更改為服務(wù)器返回的內(nèi)容,這樣myDiv元素內(nèi)部便會呈現(xiàn)出服務(wù)器返回的新數(shù)據(jù),網(wǎng)頁的部分內(nèi)容看上去就更新了。

我們觀察到,這3個步驟其實都是由JavaScript完成的,它完成了整個請求、解析和渲染的過程。

再回想微博的下拉刷新,這其實就是JavaScript向服務(wù)器發(fā)送了一個Ajax請求,然后獲取新的微博數(shù)據(jù),將其解析,并將其渲染在網(wǎng)頁中。

因此,我們知道,真實的數(shù)據(jù)其實都是一次次Ajax請求得到的,如果想要抓取這些數(shù)據(jù),需要知道這些請求到底是怎么發(fā)送的,發(fā)往哪里,發(fā)了哪些參數(shù)。如果我們知道了這些,不就可以用Python模擬這個發(fā)送操作,獲取到其中的結(jié)果了嗎?

在下一節(jié)中,我們就來了解下到哪里可以看到這些后臺Ajax操作,去了解它到底是怎么發(fā)送的,發(fā)送了什么參數(shù)。

以上就是Python3爬蟲中Ajax的用法的詳細內(nèi)容,更多關(guān)于Python3中Ajax是什么的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • python實現(xiàn)批量轉(zhuǎn)換圖片為黑白

    python實現(xiàn)批量轉(zhuǎn)換圖片為黑白

    這篇文章主要為大家詳細介紹了python實現(xiàn)批量轉(zhuǎn)換圖片為黑白,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-06-06
  • Python多元非線性回歸及繪圖的實現(xiàn)

    Python多元非線性回歸及繪圖的實現(xiàn)

    本文主要介紹了Python多元非線性回歸及繪圖的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-04-04
  • 解決Scrapy安裝錯誤:Microsoft Visual C++ 14.0 is required...

    解決Scrapy安裝錯誤:Microsoft Visual C++ 14.0 is required...

    下面小編就為大家?guī)硪黄鉀QScrapy安裝錯誤:Microsoft Visual C++ 14.0 is required...的問題。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-10-10
  • anaconda打開閃退的解決過程

    anaconda打開閃退的解決過程

    這篇文章主要給大家介紹了關(guān)于anaconda打開閃退的解決過程,文中通過實例代碼介紹的非常詳細,對大家學(xué)習(xí)或者使用anaconda具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2022-09-09
  • python中Task封裝協(xié)程的知識點總結(jié)

    python中Task封裝協(xié)程的知識點總結(jié)

    在本篇內(nèi)容里小編給大家總結(jié)的是一篇關(guān)于python中Task封裝協(xié)程的知識點總結(jié)內(nèi)容,有興趣的朋友們可以跟著學(xué)習(xí)下。
    2021-07-07
  • Pandas-Cookbook 時間戳處理方式

    Pandas-Cookbook 時間戳處理方式

    今天小編就為大家分享一篇Pandas-Cookbook 時間戳處理方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • Python如何重新加載模塊

    Python如何重新加載模塊

    這篇文章主要介紹了Python如何重新加載模塊,文中講解非常細致,代碼幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下
    2020-07-07
  • 使用python將時間轉(zhuǎn)換為指定的格式方法

    使用python將時間轉(zhuǎn)換為指定的格式方法

    今天小編就為大家分享一篇使用python將時間轉(zhuǎn)換為指定的格式方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-11-11
  • python使用opencv讀取圖片的實例

    python使用opencv讀取圖片的實例

    下面小編就為大家?guī)硪黄猵ython使用opencv讀取圖片的實例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-08-08
  • 解決matplotlib.pyplot在Jupyter notebook中不顯示圖像問題

    解決matplotlib.pyplot在Jupyter notebook中不顯示圖像問題

    這篇文章主要介紹了解決matplotlib.pyplot在Jupyter notebook中不顯示圖像問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04

最新評論