Python爬取YY評級分?jǐn)?shù)并保存數(shù)據(jù)實現(xiàn)過程解析
前言
當(dāng)需要進行大規(guī)模查詢時（比如目前遇到的情形：查詢某個省所有發(fā)債企業(yè)的YY評級分?jǐn)?shù)），人工查詢顯然太過費時，那就寫個爬蟲吧。
由于該爬蟲實在過于簡單，就只簡單概述下。
一、請求端
通過觀察YY評級的網(wǎng)頁信息，如下圖（F12或右擊進入檢查，點擊network—>XHR—>headers）。
紅色框表明是個get請求（其實這種網(wǎng)頁基本都是Ajax get，需要總結(jié)實際url的規(guī)律的）。
綠色框即為實際URL，通過分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，后半部分為黃色框內(nèi)內(nèi)容用“&”符號連接后的結(jié)果。黃色框內(nèi)的內(nèi)容，只有企業(yè)名稱為變量，且為已知變量，那URL即可據(jù)此確定了。
另外需注意，YY評級需要登錄才可查詢數(shù)據(jù)，在構(gòu)建頭部信息進行訪問時，一定要提前登錄，并在頭部信息中放入登錄信息和登錄狀態(tài)。
二、響應(yīng)端
通過觀察網(wǎng)頁的響應(yīng)信息（F12或右擊進入檢查，點擊network—>XHR—>response），如下圖。響應(yīng)信息及其簡單，我們所需要的YY評級分?jǐn)?shù)安詳?shù)靥稍谀抢?，簡單到一個正則表達式就可以提取出該數(shù)據(jù)。正則如下：
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"
三、代碼
所需數(shù)據(jù)較少，代碼相對簡單，就不建立函數(shù)了，直接一路到底吧。如下：
運行代碼后，得到結(jié)果如下。安徽省的100多條數(shù)據(jù)，就到了本地了
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python實現(xiàn)json文件的增刪改操作,本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-06-06
本文主要介紹了python使用opencv進行人臉識別的相關(guān)資料。具有很好的參考價值。下面跟著小編一起來看下吧2017-04-04
不過下面可是我們開發(fā)產(chǎn)品初期的一些血淋淋的案例，更多的安全威脅可以看看北北同學(xué)的《python hack》PPT，里面提及了不只命令執(zhí)行的威脅，那些都是我們親身經(jīng)歷的代碼2013-02-02
解決pycharm中opencv-python導(dǎo)入cv2后無法自動補全的問題(不用作任何文件上的修改)
這篇文章主要介紹了解決pycharm中opencv-python導(dǎo)入cv2后無法自動補全的問題(不用作任何文件上的修改),本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-03-03
Python3.7 pyodbc完美配置訪問access數(shù)據(jù)庫
最近小編需要學(xué)習(xí)python連接access數(shù)據(jù)庫，發(fā)現(xiàn)很多朋友推薦pyodbc，那么這篇文章就先為大家介紹一下Python3.7下pyodbc的配置方法2019-10-10
Harris角點檢測算子是于1988年由CHris Harris & Mike Stephens提出來的。在具體展開之前，不得不提一下Moravec早在1981就提出來的Moravec角點檢測算子。本文重點給大家介紹OpenCV圖像特征harris角點檢測知識，一起看看吧2021-09-09
yield關(guān)鍵字用于創(chuàng)建生成器函數(shù),一種高效利用內(nèi)存的函數(shù)類型,可以像迭代器對象一樣使用,本文主要介紹了Python中的yield關(guān)鍵字的應(yīng)用,需要的可以參考下2023-08-08
Python異步編程之協(xié)程任務(wù)的調(diào)度操作實例分析
這篇文章主要介紹了Python異步編程之協(xié)程任務(wù)的調(diào)度操作,結(jié)合實例形式分析了Python異步編程中協(xié)程任務(wù)的調(diào)度相關(guān)原理、實現(xiàn)方法與操作注意事項,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python下載網(wǎng)絡(luò)小說實例代碼，分享了相關(guān)代碼示例，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-02-02
詳解Python匿名函數(shù)（lambda函數(shù)）
這篇文章主要介紹了Python匿名函數(shù)（lambda函數(shù)），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04