python挖掘蛋卷基金投資組合數(shù)據(jù)分析
更新時間：2022年05月18日 17:02:16 作者：concyclics
這篇文章主要為大家介紹了python挖掘蛋卷基金投資組合數(shù)據(jù)分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
一、網(wǎng)頁分析
1、打開網(wǎng)頁
我們隨意打開一個蛋卷基金上投資組合的網(wǎng)頁，例如：
鏈接: https://danjuanapp.com/strategy/CSI1033
這里以Microsoft Edge瀏覽器為例 。
2、查看json
選擇“XHR”，發(fā)現(xiàn)有一個以基金編號命名的文件，單擊它，查看請求標頭。
GET /djapi/plan/CSI1033 HTTP/1.1 Host: danjuanapp.com Connection: keep-alive sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="90", "Microsoft Edge";v="90" Accept: application/json, text/plain, */* sec-ch-ua-mobile: ?0 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62 elastic-apm-traceparent: 00-25105e3e8908ba33898b0f6cd57b8a73-c782a0e5122abe33-01 Sec-Fetch-Site: same-origin Sec-Fetch-Mode: cors Sec-Fetch-Dest: empty Referer: https://danjuanapp.com/strategy/CSI1033 Accept-Encoding: gzip, deflate, br Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6 Cookie: device_id=web_Skhu79T_v; acw_tc=2760774a16215745204941604e9286878fd10c566d03eedbbb0eb93c40e0f5; channel=undefined; xq_a_token=ccd9918c5b2c091c2d0dacb2e264963ba5fb7539; Hm_lvt_b53ede02df3afea0608038748f4c9f36=1621307606,1621428116,1621514481,1621574521; Hm_lpvt_b53ede02df3afea0608038748f4c9f36=1621574634; timestamp=1621574634698
發(fā)現(xiàn)好像沒什么特別的，說不定沒有反爬的機制 ，不如試著直接點開這個鏈接。
原來這里面存的就是基金基本信息的json！
我們觀察這個地址：
https://danjuanapp.com/djapi/plan/CSI1033
發(fā)現(xiàn)只要更改最后的編號，就可以獲得各個基金的基本信息。
二、數(shù)據(jù)獲取
1、觀察json的結(jié)構(gòu)
我們觀察一下這個json的結(jié)構(gòu)，這里只截取部分片段。
{
"data": {
"plan_code": "CSI1033",
"plan_name": "螺絲釘主動優(yōu)選組合",
"yield": "65.93",
"yield_name": "成立以來收益",
"yield_middle": "48.03",
"yield_name_middle": "成立以來年化",
……
"found_date": "2020-02-03",
"manager_xq_id": "3079173340",
"manager_name": "銀行螺絲釘",
"manager_profile_photo": "https://danjuan.aiganggu.com/o2020021580801637267.png",
"invest_time_type": 2,
"invest_time_name": "持有3年以上",
"invest_money_type": 4,
"invest_money_name": "積極增值",
"found_days": 473,
"min_buy_amount": "200",
"plan_derived": {
"end_date": "2021-05-20",
"nav_grtd": "-0.03",
"nav_grl1w": "2.38",
……
"unit_nav": "1.6593",
"yield_history": [{
"yield": "-12.02",
"name": "近3個月"
}, {
"yield": "7.40",
"name": "近6個月"
}, {
"yield": "42.25",
……
我們發(fā)現(xiàn)，所有數(shù)據(jù)都存在 “data” 下， “data” 里有基金的基本信息，當日凈值存在 “plan_derived” 下的 “unit_nav” 里，那么我們只要按照這個順序從中獲取數(shù)據(jù)即可。
三、代碼實現(xiàn)
1、基本操作
a. 需要使用的模塊
用requests獲取頁面，用json庫將json文件轉(zhuǎn)化為字典。
import requests import json
b. 隨便設(shè)置一個請求標頭
header={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
c. 獲取頁面信息
這里的code為基金的代碼，用requests獲取頁面以后讀出具體的文本內(nèi)容，存到page里。
code='CSI1033' url='https://danjuanapp.com/djapi/plan/'+code page=requests.get(url,headers=header).text
我們把page輸出出來檢查一下，發(fā)現(xiàn)我們想要的都在里面。
d. 導(dǎo)入json
因為所有數(shù)據(jù)都在data里，所以我們直接進入data內(nèi)即可。
items=json.loads(page)
items=items.get("data")
e. 從json中獲取需要的信息
基金的名字
name=items.get('plan_name')基金的當日凈值以及凈值的記錄日期
這些數(shù)據(jù)在“plan_derived”內(nèi)。
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
2、寫一個可以重復(fù)使用的函數(shù)
我們以code作為傳入的參數(shù)，把剛才的內(nèi)容組合起來。
def getfund(code):
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text
items=json.loads(page)
items=items.get("data")
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
name=items.get('plan_name')
print("基金編號:",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)
3、完整代碼
#by concyclics
import requests
import json
header={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
danjuan=['CSI1033','CSI1032','CSI1038','CSI1029','CSI1006','CSI1065']
danjuan.sort()
#獲取當天信息
def getfund(code):
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text
items=json.loads(page)
items=items.get("data")
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
name=items.get('plan_name')
print("基金編號:",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)
if __name__=='__main__':
for code in danjuan:
getfund(code)
這樣，我們的功能就基本實現(xiàn)了，更多關(guān)于python挖掘蛋卷基金投資數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python根據(jù)Excel表進行文件重命名的實現(xiàn)示例
在日常辦公過程中，批量重命名是經(jīng)常使用的操作，本文主要介紹了Python根據(jù)Excel表進行文件重命名，具有一定的參考價值，感興趣的可以了解一下2024-01-01
這篇文章主要介紹了Python Socket編程詳細介紹，socket可以建立連接，傳遞數(shù)據(jù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2017-03-03
這篇文章主要介紹了Python urllib3軟件包的使用說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-11-11
這篇文章主要為大家詳細介紹了Python辦公自動化中操控遠程桌面和文件版本控制的相關(guān)知識,文中的示例代碼講解詳細,感興趣的小伙伴可以了解下2024-01-01
這篇文章主要為大家介紹了Python?多處理模塊如何使用示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
這篇文章主要介紹了python數(shù)據(jù)分析繪圖可視化，數(shù)據(jù)可視化旨在直觀展示信息的分析結(jié)果和構(gòu)思，令某些抽象數(shù)據(jù)具象化，這些抽象數(shù)據(jù)包括數(shù)據(jù)測量單位的性質(zhì)或數(shù)量2022-06-06
這篇文章主要介紹了Python裝飾器使用示例及實際應(yīng)用例子,本文給出了斐波拉契數(shù)列、注冊回調(diào)函數(shù)、mysql封裝、線程異步等實際使用示例,需要的朋友可以參考下2015-03-03
使用wxPython實現(xiàn)Windows11任務(wù)欄通知功能
這篇文章主要為大家詳細介紹了如何使用 wxPython 模塊,在 Windows 11 中實現(xiàn)任務(wù)欄通知功能,文中的示例代碼簡潔易懂,感興趣的小伙伴可以跟隨小編一起學(xué)習一下2023-10-10
邊緣檢測是圖像處理和計算機視覺當中的基本問題，邊緣檢測的目的是標識數(shù)字圖像中亮度變化明顯的點。本文將通過示例和大家介紹一下邊緣檢測的原理，希望對大家有所幫助2022-12-12
在Python和NumPy庫的幫助下,矩陣列可以很容易地進行各種操作,本文主要介紹了python矩陣列的實現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下2024-02-02