Python爬取YY評級分數并保存數據實現(xiàn)過程解析
前言
當需要進行大規(guī)模查詢時（比如目前遇到的情形：查詢某個省所有發(fā)債企業(yè)的YY評級分數），人工查詢顯然太過費時，那就寫個爬蟲吧。
由于該爬蟲實在過于簡單，就只簡單概述下。
一、請求端
通過觀察YY評級的網頁信息，如下圖（F12或右擊進入檢查，點擊network—>XHR—>headers）。
紅色框表明是個get請求（其實這種網頁基本都是Ajax get，需要總結實際url的規(guī)律的）。
綠色框即為實際URL，通過分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，后半部分為黃色框內內容用“&”符號連接后的結果。黃色框內的內容，只有企業(yè)名稱為變量，且為已知變量，那URL即可據此確定了。
另外需注意，YY評級需要登錄才可查詢數據，在構建頭部信息進行訪問時，一定要提前登錄，并在頭部信息中放入登錄信息和登錄狀態(tài)。
二、響應端
通過觀察網頁的響應信息（F12或右擊進入檢查，點擊network—>XHR—>response），如下圖。響應信息及其簡單，我們所需要的YY評級分數安詳地躺在那里，簡單到一個正則表達式就可以提取出該數據。正則如下：
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"
三、代碼
所需數據較少，代碼相對簡單，就不建立函數了，直接一路到底吧。如下：
運行代碼后，得到結果如下。安徽省的100多條數據，就到了本地了
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python實現(xiàn)json文件的增刪改操作,本文通過示例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-06-06
本文主要介紹了python使用opencv進行人臉識別的相關資料。具有很好的參考價值。下面跟著小編一起來看下吧2017-04-04
不過下面可是我們開發(fā)產品初期的一些血淋淋的案例，更多的安全威脅可以看看北北同學的《python hack》PPT，里面提及了不只命令執(zhí)行的威脅，那些都是我們親身經歷的代碼2013-02-02
解決pycharm中opencv-python導入cv2后無法自動補全的問題(不用作任何文件上的修改)
這篇文章主要介紹了解決pycharm中opencv-python導入cv2后無法自動補全的問題(不用作任何文件上的修改),本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-03-03
Python3.7 pyodbc完美配置訪問access數據庫
最近小編需要學習python連接access數據庫，發(fā)現(xiàn)很多朋友推薦pyodbc，那么這篇文章就先為大家介紹一下Python3.7下pyodbc的配置方法2019-10-10
Harris角點檢測算子是于1988年由CHris Harris & Mike Stephens提出來的。在具體展開之前，不得不提一下Moravec早在1981就提出來的Moravec角點檢測算子。本文重點給大家介紹OpenCV圖像特征harris角點檢測知識，一起看看吧2021-09-09
yield關鍵字用于創(chuàng)建生成器函數,一種高效利用內存的函數類型,可以像迭代器對象一樣使用,本文主要介紹了Python中的yield關鍵字的應用,需要的可以參考下2023-08-08
這篇文章主要介紹了Python異步編程之協(xié)程任務的調度操作,結合實例形式分析了Python異步編程中協(xié)程任務的調度相關原理、實現(xiàn)方法與操作注意事項,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python下載網絡小說實例代碼，分享了相關代碼示例，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-02-02
這篇文章主要介紹了Python匿名函數（lambda函數），文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04