python爬蟲之場內(nèi)ETF基金獲取
1 前言
之前已經(jīng)介紹了基金的變動信息，但是這些基金都是屬于場外的，今天我們要介紹的是一個帶門檻的投資產(chǎn)品-ETF。只有開立證券賬戶的玩家才能入局，ETF 是一種場內(nèi)交易型基金，可以在盤中進行交易，交易性比場外基金強一點，那么閑言少敘，馬上開始介紹正題。
2 ETF列表和簡稱
ETF基金變動情況和基本情況的獲取方式和場外基金是一樣的，怎么獲取比較全面的ETF基金列表呢？
# 獲取基金信息的列表 http://fund.eastmoney.com/data/fbsfundranking.html
以下是ETF信息列表所展示的信息：
ETF 在場內(nèi)進行交易時，一般都有一個簡稱，獲取簡稱的方式比較麻煩一點，需要訪問一個頁面，然后通過 bs4 去解析元素的方式去獲取。
#經(jīng)過分析,我們可以發(fā)現(xiàn)基金代碼前綴就代表這其市場,5上海市場 1-深圳市場,以地產(chǎn)ETF和光伏ETF為例 http://quote.eastmoney.com/sz159707.html http://quote.eastmoney.com/sh515790.html
3 ETF 信息獲取
3.1 ETF列表信獲取
ETF 列表信息我們通過訪問列表發(fā)現(xiàn)在訪問列表數(shù)據(jù)時，是請求了一個api接口到了后臺，然后返回給前端一個響應(yīng)報文。
http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=fb&ft=ct&rs=&gs=0&sc=zzf&st=desc&pi=1&pn=50
看到這里就覺得很開心，不用解析 html 文件了，當(dāng)通過request使用get 方式獲取數(shù)據(jù)時，發(fā)現(xiàn)竟然沒有返回?zé)o訪問權(quán)限，我想可能是沒有攜帶cookie的原因，但是我也沒有登錄呀，可能是請求頭需要攜帶一些頁面信息，于是，經(jīng)過嘗試，最終確定了需要攜帶的信息為:
headers = {
'Host': 'fund.eastmoney.com',
'Referer': 'http://fund.eastmoney.com/data/fbsfundranking.html'
}最終我們獲取基金列表的代碼應(yīng)該這樣寫:
調(diào)試后獲取到的結(jié)果如下圖所示:
3.2 獲取基金的簡稱
獲取基金的簡稱相對比較簡單，通過分析發(fā)現(xiàn)，簡稱所在的位置在 <span class="quote_title_0 wryh">光伏ETF</span> 中，通過訪問頁面獲取元素即可拿到簡稱的描述。
具體的代碼如下圖所示:
4 最終結(jié)果展示
經(jīng)過獲取基金列表和獲取基金簡稱兩個步驟，我們獲取到了最終的結(jié)果如下圖所示，已經(jīng)達成了需要獲取信息的目的:
后續(xù)我們會把基金信息和ETF 信息進行合并存入數(shù)據(jù)庫中，方便后續(xù)的數(shù)據(jù)分析。
到此這篇關(guān)于python爬蟲之場內(nèi)ETF基金獲取的文章就介紹到這了,更多相關(guān)python ETF基金獲取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
有許許多多文章寫了 Python 中的許多很酷的特性，例如變量解包、偏函數(shù)、枚舉可迭代對象，但是關(guān)于 Python 還有很多要討論的話題，因此在本文中，我將嘗試展示一些我知道的和在使用的，但很少在其它文章提到過的特性。那就開始吧2020-01-01
PyCharm利用pydevd-pycharm實現(xiàn)Python遠(yuǎn)程調(diào)試的詳細(xì)過程
這篇文章主要介紹了PyCharm利用pydevd-pycharm實現(xiàn)Python遠(yuǎn)程調(diào)試,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09
這篇文章主要給大家介紹了關(guān)于pytorch?cuda安裝報錯的解決方法,文中通過圖文介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用Pytorch具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2023-01-01
這篇文章主要介紹了django中的auth模塊與admin后臺管理方法，包括auth模塊的常用方法及如何擴展auth_user表，本文通過實例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
這篇文章主要介紹了python中JWT用戶認(rèn)證的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
Python?十大經(jīng)典排序算法實現(xiàn)詳解
排序算法是《數(shù)據(jù)結(jié)構(gòu)與算法》中最基本的算法之一。排序算法可以分為內(nèi)部排序和外部排序，內(nèi)部排序是數(shù)據(jù)記錄在內(nèi)存中進行排序，而外部排序是因排序的數(shù)據(jù)很大，一次不能容納全部的排序記錄，在排序過程中需要訪問外存2022-01-01
python爬不同圖片分別保存在不同文件夾中的實現(xiàn)
這篇文章主要介紹了python爬不同圖片分別保存在不同文件夾中的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章主要介紹了詳解python里的命名規(guī)范，命名應(yīng)當(dāng)盡量使用全拼寫的單詞，縮寫的情況文章中也給大家提到，需要的朋友參考下吧2018-07-07
python目標(biāo)檢測給圖畫框,bbox畫到圖上并保存案例
這篇文章主要介紹了python目標(biāo)檢測給圖畫框,bbox畫到圖上并保存案例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Win10?Anaconda?新建環(huán)境安裝python-pcl的步驟
這篇文章主要介紹了Win10?Anaconda?新建環(huán)境安裝python-pcl的方法,至于VS環(huán)境下安裝C++?版本的pcl也可以按照此文提供的步驟安裝實現(xiàn)，需要的朋友可以參考下2022-04-04