Python數(shù)據(jù)分析之NumPy常用函數(shù)使用詳解
本篇我們將以分析歷史股價(jià)為例,介紹怎樣從文件中載入數(shù)據(jù),以及怎樣使用NumPy的基本數(shù)學(xué)和統(tǒng)計(jì)分析函數(shù)、學(xué)習(xí)讀寫文件的方法,并嘗試函數(shù)式編程和NumPy線性代數(shù)運(yùn)算,來學(xué)習(xí)NumPy的常用函數(shù)。
文件讀入
讀寫文件是數(shù)據(jù)分析的一項(xiàng)基本技能
CSV(Comma-Separated Value,逗號(hào)分隔值)格式是一種常見的文件格式。通常,數(shù)據(jù)庫的轉(zhuǎn)存文件就是CSV格式的,文件中的各個(gè)字段對(duì)應(yīng)于數(shù)據(jù)庫表中的列。
NumPy中的 loadtxt 函數(shù)可以方便地讀取CSV文件,自動(dòng)切分字段,并將數(shù)據(jù)載入NumPy數(shù)組。
1、保存或創(chuàng)建新文件
import numpy as np i = np.eye(3) #eye(n)函數(shù)創(chuàng)建n維單位矩陣 print(i) np.savetxt('test.txt', i) #savetxt()創(chuàng)建并保存test.txt文件
savetxt()函數(shù),如果有已經(jīng)文件則更新,如目錄中沒有,則創(chuàng)建并保存test.txt文件
運(yùn)行結(jié)果如下:
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
2、讀取csv文件的函數(shù)loadtxt
1)先在保存程序的目錄下創(chuàng)建一個(gè)名稱為data.csv的文件,并設(shè)置數(shù)據(jù)如下圖:
2)讀取文件,如下:
c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True)
usecols 的參數(shù)是一個(gè)元組,以獲取第7字段至第8字段的數(shù)據(jù),也就是上述文件中 股票的收盤價(jià)和成交量數(shù)據(jù)。 unpack 參數(shù)設(shè)置為 True ,是分拆存儲(chǔ)不同列的數(shù)據(jù),即分別將收盤價(jià)和成交量的數(shù)組賦值給變量c和v。
3、常見的函數(shù)
成交量加權(quán)平均、時(shí)間加權(quán)、算術(shù)平均值、中位數(shù)、方差等
import numpy as np i = np.eye(3) #eye(n)函數(shù)創(chuàng)建n維單位矩陣 print(i) np.savetxt('test.txt', i) #savetxt創(chuàng)建并保存test.txt文件 #讀取csv文件 c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) """usecols 的參數(shù)為一個(gè)元組,以獲取第7字段至第8字段的數(shù)據(jù),也就是股票的收盤價(jià)和成交量數(shù)據(jù)。 unpack 參數(shù)設(shè)置為 True ,是分拆存儲(chǔ)不同列的數(shù)據(jù),即分別將收 盤價(jià)和成交量的數(shù)組賦值給變量c和v""" vwap = np.average(c, weights=v) #調(diào)用了average函數(shù),將v作為權(quán)重參數(shù)使用, print(vwap) print('\n') print( np.mean(c)) #算術(shù)平均值 print('\n') t = np.arange(len(c)) print( t ) print('\n') twap =np.average(c, weights=t) #按時(shí)間權(quán)重 print( twap ) print('\n') h,l=np.loadtxt('data.csv',delimiter=',', usecols=(4,5), unpack=True) # 獲取第4字段至第5字段的數(shù)據(jù),即股票的最高價(jià)和最低價(jià) print ( np.max(h)) #獲取最大值max() print ( np.min(l)) #獲取最小值min() print('\n') print( np.ptp(h) ) # 用ptp()函數(shù)計(jì)算了極差,即最大值和最小值之間的差值 print( np.ptp(l) ) print('\n') print( np.median(c)) # 中位數(shù)median()函數(shù),即多個(gè)數(shù)據(jù)中,處于中間的數(shù) print( np.msort(c))#msort(( ))函數(shù)對(duì)價(jià)格數(shù)組進(jìn)行排序,可以驗(yàn)證上述中位數(shù) #方差的計(jì)算 variance = np.var(c) #方差函數(shù)var() print(variance)
用代碼、excel進(jìn)行相關(guān)計(jì)算,運(yùn)行結(jié)果如下:
為后面計(jì)算,將data.csv中的數(shù)據(jù)多增加幾行,修改如下并保存(為后面日期讀寫與修改,日期形式修改成如下):
603112,2022-4-1,,13.56,13.97,13.55,13.87,3750000603112,2022-4-2,,13.75,14.25,13.69,14.03,4003500603112,2022-4-3,,13.69,14.11,13.61,13.95,3956500603112,2022-4-4,,14.3,14.3,13.73,13.89,4250000603112,2022-4-5,,14.1,14.5,13.93,14,4013500603112,2022-4-6,,14.5,15.4,14.35,15.4,9056500603112,2022-4-7,,16,16.94,15.85,16.94,3750000
4、股票的收益率等
股市中最常見的就是漲幅,也就是今日收盤價(jià)相對(duì)昨日漲跌的比例,即 (今日收盤價(jià)-昨天收盤價(jià))/昨日收盤價(jià)*100,numpy中的 diff() 函數(shù)可以返回一個(gè)由相鄰數(shù)組元素的差值構(gòu)成的數(shù)組,由于相鄰數(shù)據(jù)相減,因此diff()數(shù)組數(shù)據(jù)較原數(shù)組少一個(gè)。
如上述修改后,有7天的收盤價(jià),diff()計(jì)算出的結(jié)果就只有6位,
import numpy as np #讀取csv文件 c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) #股票的簡(jiǎn)單收益率 # diff 函數(shù)可以返回一個(gè)由相鄰數(shù)組元素的差值構(gòu)成的數(shù)組 results = np.diff(c) print(results) print('\n') results1 = np.diff(c)/c[:-1]*100 #相對(duì)前一天的漲幅 print(results1) print('\n') Standard_deviation =np.std(results) # 計(jì)算出標(biāo)準(zhǔn)差 print(Standard_deviation)
運(yùn)行結(jié)果,代碼、excel進(jìn)行相比較:
5、對(duì)數(shù)收益與波動(dòng)率
1)對(duì)數(shù)收益:log 函數(shù)得到每一個(gè)收盤價(jià)的對(duì)數(shù),再對(duì)結(jié)果使用 diff 函數(shù)即可,
logreturns = np.diff( np.log(c) ) print(logreturns)
運(yùn)行結(jié)果:
[ 0.01146966 -0.00571839 -0.00431035 0.00788817 0.09531018 0.09531018]
2) where的作用
where 函數(shù)可以根據(jù)指定的條件返回所有滿足條件的序列索引值,比如上述logreturns中有兩個(gè)小于0的數(shù)據(jù)。
posretindices = np.where(results1 > 0) print('Indices with positive returns1',posretindices)
運(yùn)行結(jié)果:
Indices with positive returns1 (array([0, 3, 4, 5], dtype=int64),)
3)波動(dòng)率:波動(dòng)率=對(duì)數(shù)收益率的標(biāo)準(zhǔn)差除以其均值,再除以交易周期倒數(shù)的平方根。下面代碼分別為以年、月進(jìn)行統(tǒng)計(jì)的波動(dòng)率.
annual_volatility =(np.std(logreturns)/np.mean(logreturns))/np.sqrt(1./252.)#使用浮點(diǎn)數(shù)才能得到正確的結(jié)果 print ( annual_volatility ) #月波動(dòng)率 month_volatility =(np.std(logreturns)/np.mean(logreturns))/np.sqrt(1./12.) print ( month_volatility )
6、日期分析
處理日期總是很煩瑣。NumPy是面向浮點(diǎn)數(shù)運(yùn)算的,因此需要對(duì)日期做一些專門的處理。
通過上述代碼,我們知道,修改函數(shù)np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True)中的參數(shù) usecols=(6,7)就可以讀取不同的列,日期是在第2列,即下標(biāo)應(yīng)該為1(數(shù)列下標(biāo)是從0開始的),可以重新定義新日期數(shù)列并獲取后存入。
代碼如下:
dates, c=np.loadtxt('data.csv', delimiter=',', usecols=(1,6), unpack=True) #讀取下標(biāo)為1、6的數(shù)據(jù),分別存入到dates和c數(shù)列中。
但實(shí)際運(yùn)行過程中會(huì)報(bào)錯(cuò),
代碼需要作如下修改:
import numpy as np from datetime import datetime def datestr2num(s): #定義一個(gè)函數(shù) return datetime.strptime(s.decode('ascii'),"%Y-%m-%d").date().weekday() #decode('ascii') 將字符串s轉(zhuǎn)化為ascii碼 #讀取csv文件 dates,close=np.loadtxt('data.csv',delimiter=',', usecols=(1,6),converters={1:datestr2num},unpack=True) print(dates)
運(yùn)行結(jié)果:[4. 5. 6. 0. 1. 2. 3.],也是從0開始,到6結(jié)束。為了更好地說明數(shù)據(jù),可以采用真實(shí)的數(shù)據(jù),即從通信達(dá)軟件直接下載真實(shí)的交易數(shù)據(jù),如下圖所示:
(注意:較原來少了一列空格列)
修改代碼如下:
import numpy as np from datetime import datetime def datestr2num(s): #定義一個(gè)函數(shù) return datetime.strptime(s.decode('ascii'),"%Y-%m-%d").date().weekday() #decode('ascii') 將字符串s轉(zhuǎn)化為ascii碼 #讀取csv文件 dates,c=np.loadtxt('data.csv',delimiter=',', usecols=(1,5), converters={1:datestr2num},unpack=True) print(dates) print(len(dates)) #統(tǒng)計(jì)導(dǎo)出的天數(shù)
運(yùn)行結(jié)果:
如上圖,導(dǎo)出有420天數(shù)據(jù)。
按周一到周五,統(tǒng)計(jì)相關(guān)數(shù)據(jù):
averages = np.zeros(5) #創(chuàng)建包含5個(gè)元素的數(shù)組,保存交易日收盤價(jià),0-4分別代表周一到周五五個(gè)交易日 for i in range(5): #遍歷0到4的日期標(biāo)識(shí) indices =np.where(dates==i) #where函數(shù)得到各工作日的索引值并存儲(chǔ)在 indices 數(shù)組 prices=np.take(c,indices) #take函數(shù)獲取各個(gè)工作日的收盤價(jià)。 avg= np.mean(prices) #每個(gè)工作日計(jì)算出平均值存放在 averages 數(shù)組 averages[i] = avg #每個(gè)工作日計(jì)算出平均值存放在 averages 數(shù)組 print('day', i) #print('prices', prices) print("Average", avg) print(averages)
當(dāng)然除了上述外,還可以求得420天里的最大值、最小值以及交易日平均值中最大值、最小值等,對(duì)代碼進(jìn)行如下修:
import numpy as np from datetime import datetime def datestr2num(s): #定義一個(gè)函數(shù) return datetime.strptime(s.decode('ascii'),"%Y-%m-%d").date().weekday() #decode('ascii') 將字符串s轉(zhuǎn)化為ascii碼 #讀取csv文件 dates,c=np.loadtxt('data.csv',delimiter=',', usecols=(1,5), converters={1:datestr2num},unpack=True) averages = np.zeros(5) #創(chuàng)建包含5個(gè)元素的數(shù)組,保存交易日收盤價(jià),0-4分別代表周一到周五五個(gè)交易日 for i in range(5): #遍歷0到4的日期標(biāo)識(shí) indices =np.where(dates==i) #where函數(shù)得到各工作日的索引值并存儲(chǔ)在 indices 數(shù)組 prices=np.take(c,indices) #take函數(shù)獲取各個(gè)工作日的收盤價(jià)。 avg= np.mean(prices) averages[i] = avg #每個(gè)工作日計(jì)算出平均值存放在 averages 數(shù)組,共有5個(gè)數(shù)值 print('day', i) #print('prices', prices) print("Average", avg) print(averages) print('\n') print('the top close price:',np.max(c)) #最高收盤價(jià) print('the low close price:',np.min(c)) #最低收盤價(jià) print('\n') top = np.max(averages) #找出averages數(shù)列中的最大值 print ("Highest average", top) print ("Top day of the week", np.argmax(averages)) #argmax函數(shù)返回的是averages數(shù)組中最大元素的索引值 print('\n') bottom = np.min(averages) #找出averages數(shù)列中的最小值 print ("Lowest average", bottom) print ( "Bottom day of the week", np.argmin(averages))#argmin函數(shù)返回的是averages數(shù)組中最小元素的索引值
運(yùn)行結(jié)果如下:
總結(jié)
本篇初步導(dǎo)入了真實(shí)的股票交易信息,并利用numpy常見函數(shù)對(duì)進(jìn)行了初步的計(jì)算,列舉了下列常用函數(shù):
loadtxt() 函數(shù)可以方便地讀取CSV文件,自動(dòng)切分字段,并將數(shù)據(jù)載入NumPy數(shù)組。
savetxt()創(chuàng)建并保存test.txt文件
np.loadtxt('data.csv', delimiter=',', usecols=(6,7),)usecols參數(shù)用來選擇讀取的數(shù)列
np.average(c, weights=v) 加權(quán)平均,將v作為權(quán)重參數(shù)使用,
np.mean(c)) #算術(shù)平均值
np.max(h)) #獲取最大值max()
np.min(l)) #獲取最小值min()
np.ptp(h) ) 用ptp()函數(shù)計(jì)算了極值差,
np.median(c)) 中位數(shù)median()函數(shù),即多個(gè)數(shù)據(jù)中,處于中間的數(shù)
np.msort(c))函數(shù)對(duì)價(jià)格數(shù)組進(jìn)行排序,
np.var(c) 方差函數(shù)var()
np.diff(c) 函數(shù)可以返回一個(gè)由相鄰數(shù)組元素的差值構(gòu)成的數(shù)組
np.std(results) # 標(biāo)準(zhǔn)差
np.diff( np.log(c) )
np.where(results1 > 0) 選擇
np.sqrt()#平方根sqrt(),浮點(diǎn)數(shù)
s.decode('ascii') 將字符串s轉(zhuǎn)化為ascii碼
np.take(c,indices) #take函數(shù)獲取各個(gè)工作日的收盤價(jià)。
np.argmax(averages)) #argmax函數(shù)返回?cái)?shù)組中最大元素的索引值
np.argmin(averages))#argmin函數(shù)返回?cái)?shù)組中最小元素的索引值
以上就是Python數(shù)據(jù)分析之NumPy常用函數(shù)使用詳解的詳細(xì)內(nèi)容,更多關(guān)于Python NumPy常用函數(shù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- Python數(shù)據(jù)分析numpy數(shù)組的3種創(chuàng)建方式
- 詳解python如何通過numpy數(shù)組處理圖像
- python中的Numpy二維數(shù)組遍歷與二維數(shù)組切片后遍歷效率比較
- Python中numpy數(shù)組的計(jì)算與轉(zhuǎn)置詳解
- python 將numpy維度不同的數(shù)組相加相乘操作
- Python 用NumPy創(chuàng)建二維數(shù)組的案例
- Python數(shù)據(jù)分析Numpy中常用相關(guān)性函數(shù)
- python數(shù)據(jù)分析Numpy庫的常用操作
- Python Numpy布爾數(shù)組在數(shù)據(jù)分析中的應(yīng)用小結(jié)
相關(guān)文章
Python實(shí)現(xiàn)對(duì)二維碼數(shù)據(jù)進(jìn)行壓縮
當(dāng)前二維碼的應(yīng)用越來越廣泛,包括疫情時(shí)期的健康碼也是應(yīng)用二維碼的典型案例。本文的目標(biāo)很明確,就是使用python,實(shí)現(xiàn)一張二維碼顯示更多信息,代碼簡(jiǎn)單實(shí)用,感興趣的可以了解一下2023-02-02python 截取XML中bndbox的坐標(biāo)中的圖像,另存為jpg的實(shí)例
這篇文章主要介紹了python 截取XML中bndbox的坐標(biāo)中的圖像,另存為jpg的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03Python2.7:使用Pyhook模塊監(jiān)聽鼠標(biāo)鍵盤事件-獲取坐標(biāo)實(shí)例
這篇文章主要介紹了Python2.7:使用Pyhook模塊監(jiān)聽鼠標(biāo)鍵盤事件-獲取坐標(biāo)實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03使用python PIL庫實(shí)現(xiàn)簡(jiǎn)單驗(yàn)證碼的去噪方法步驟
這篇文章主要介紹了使用python PIL庫實(shí)現(xiàn)簡(jiǎn)單驗(yàn)證碼的去噪方法步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05Python之Matplotlib繪圖調(diào)節(jié)清晰度解決方案
Matplotlib是一個(gè)Python的繪圖庫,可以用來繪制各種類型的圖表,包括線圖、散點(diǎn)圖、柱狀圖等等,這篇文章主要給大家介紹了關(guān)于Python之Matplotlib繪圖調(diào)節(jié)清晰度的相關(guān)資料,需要的朋友可以參考下2024-03-03tensorflow tf.train.batch之?dāng)?shù)據(jù)批量讀取方式
今天小編就為大家分享一篇tensorflow tf.train.batch之?dāng)?shù)據(jù)批量讀取方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01python環(huán)境搭建和pycharm的安裝配置及漢化詳細(xì)教程(零基礎(chǔ)小白版)
這篇文章主要介紹了python環(huán)境搭建和pycharm的安裝配置及漢化(零基礎(chǔ)小白版),需要的朋友可以參考下2020-08-08Python?實(shí)現(xiàn)圖像特效中的油畫效果
這篇文章主要是為大家簡(jiǎn)單介紹一下圖像添加油畫特效的基本原理以及代碼實(shí)現(xiàn),文中的示例代碼很詳細(xì),對(duì)我們學(xué)習(xí)或者工作有一點(diǎn)的價(jià)值,感興趣的小伙伴可以了解一下2021-12-12