基于python進(jìn)行抽樣分布描述及實(shí)踐詳解
本次選取泰坦尼克號(hào)的數(shù)據(jù),利用python進(jìn)行抽樣分布描述及實(shí)踐。
備注:數(shù)據(jù)集的原始數(shù)據(jù)是泰坦尼克號(hào)的數(shù)據(jù),本次截取了其中的一部分?jǐn)?shù)據(jù)進(jìn)行學(xué)習(xí)。Age:年齡,指登船者的年齡。Fare:價(jià)格,指船票價(jià)格。Embark:登船的港口。
1、按照港口分類,使用python求出各類港口數(shù)據(jù) 年齡、車票價(jià)格的統(tǒng)計(jì)量(均值、方差、標(biāo)準(zhǔn)差、變異系數(shù)等)。
import pandas as pd df = pd.read_excel('/Users/Downloads/data.xlsx',usecols = [1,2,3] ) #拿到港口'Embarked'、年齡'Age'、價(jià)格'Fare'的數(shù)據(jù) df2 = df.groupby(['Embarked']) #按照港口'Embarked'分類后,查看 年齡、車票價(jià)格的統(tǒng)計(jì)量。 # 變異系數(shù) = 標(biāo)準(zhǔn)差/平均值 def cv(data): return data.std()/data.var() df2 = df.groupby(['Embarked']).agg(['count','min','max','median','mean','var','std',cv]) df2 = df2.apply(lambda x:round(x,2)) df2_age = df2['Age'] df2_fare = df2['Fare']
分類后 年齡及價(jià)格統(tǒng)計(jì)量描述數(shù)據(jù)如下圖:
年齡統(tǒng)計(jì)量
價(jià)格統(tǒng)計(jì)量
2、畫出價(jià)格的分布圖像,驗(yàn)證數(shù)據(jù)服從何種分布(正態(tài)?卡方?還是T?)
2.1 畫出船票的直方圖:
plt.hist(df['Fare'],20,normed=1, alpha=0.75) plt.title('Fare') plt.grid(True)
船票價(jià)格的直方圖及概率分布
2.2 驗(yàn)證是否符合正態(tài)分布?
#分別用kstest、shapiro、normaltest來驗(yàn)證分布系數(shù) ks_test = kstest(df['Fare'], 'norm') #KstestResult(statistic=0.99013849978633, pvalue=0.0) shapiro_test = shapiro(df['Fare']) #shapiroResult(0.5256513357162476, 7.001769945799311e-40) normaltest_test = normaltest(df['Fare'],axis=0) #NormaltestResult(statistic=715.0752414548335, pvalue=5.289130045259168e-156)
以上三種檢測(cè)結(jié)果表明 p<5%,因此 船票數(shù)據(jù)不符合正態(tài)分布。
繪制擬合正態(tài)分布曲線:
fare = df['Fare'] plt.figure() fare.plot(kind = 'kde') #原始數(shù)據(jù)的正態(tài)分布 M_S = stats.norm.fit(fare) #正態(tài)分布擬合的平均值loc,標(biāo)準(zhǔn)差 scale normalDistribution = stats.norm(M_S[0], M_S[1]) # 繪制擬合的正態(tài)分布圖 x = np.linspace(normalDistribution.ppf(0.01), normalDistribution.ppf(0.99), 100) plt.plot(x, normalDistribution.pdf(x), c='orange') plt.xlabel('Fare about Titanic') plt.title('Titanic[Fare] on NormalDistribution', size=20) plt.legend(['Origin', 'NormDistribution'])
船票擬合正態(tài)分布曲線
2.3 驗(yàn)證是否符合T分布?
T_S = stats.t.fit(fare) df = T_S[0] loc = T_S[1] scale = T_S[2] x2 = stats.t.rvs(df=df, loc=loc, scale=scale, size=len(fare)) D, p = stats.ks_2samp(fare, x2) # (0.25842696629213485 2.6844476044528504e-21)
p = 2.6844476044528504e-21 ,p < alpha,拒絕原假設(shè),價(jià)格數(shù)據(jù)不符合t分布。
對(duì)票價(jià)數(shù)據(jù)進(jìn)行T分布擬合:
plt.figure() fare.plot(kind = 'kde') TDistribution = stats.t(T_S[0], T_S[1],T_S[2]) # 繪制擬合的T分布圖 x = np.linspace(TDistribution.ppf(0.01), TDistribution.ppf(0.99), 100) plt.plot(x, TDistribution.pdf(x), c='orange') plt.xlabel('Fare about Titanic') plt.title('Titanic[Fare] on TDistribution', size=20) plt.legend(['Origin', 'TDistribution'])
票價(jià)擬合T分布
2.4 驗(yàn)證是否符合卡方分布?
chi_S = stats.chi2.fit(fare) df_chi = chi_S[0] loc_chi = chi_S[1] scale_chi = chi_S[2] x2 = stats.chi2.rvs(df=df_chi, loc=loc_chi, scale=scale_chi, size=len(fare)) Df, pf = stats.ks_2samp(fare, x2) # (0.16292134831460675, 1.154755913291936e-08)
p = 1.154755913291936e-08 ,p < alpha,拒絕原假設(shè),價(jià)格數(shù)據(jù)不符合卡方分布。
對(duì)票價(jià)數(shù)據(jù)進(jìn)行卡方分布擬合
plt.figure() fare.plot(kind = 'kde') chiDistribution = stats.chi2(chi_S[0], chi_S[1],chi_S[2]) # 繪制擬合的正態(tài)分布圖 x = np.linspace(chiDistribution.ppf(0.01), chiDistribution.ppf(0.99), 100) plt.plot(x, chiDistribution.pdf(x), c='orange') plt.xlabel('Fare about Titanic') plt.title('Titanic[Fare] on chi-square_Distribution', size=20) plt.legend(['Origin', 'chi-square_Distribution'])
票價(jià)擬合卡方分布
3、按照港口分類,驗(yàn)證S與Q兩個(gè)港口間的價(jià)格之差是否服從某種分布
S_fare = df[df['Embarked'] =='S']['Fare'] Q_fare = df[df['Embarked'] =='Q']['Fare'] C_fare = df[df['Embarked'] =='C']['Fare'] S_fare.describe() count 554.000000 mean 27.476284 std 36.546362 min 0.000000 25% 8.050000 50% 13.000000 75% 27.862500 max 263.000000 Q_fare.describe() count 28.000000 mean 18.265775 std 21.843582 min 6.750000 25% 7.750000 50% 7.750000 75% 18.906250 max 90.000000 C_fare.describe() count 130.000000 mean 68.296767 std 90.557822 min 4.012500 25% 14.454200 50% 36.252100 75% 81.428100 max 512.329200
按照港口分類后,S港口樣本數(shù)<=554,Q港口樣本數(shù)<=28,C港口樣本數(shù)<=130。
總體不服從正態(tài)分布,所以需要當(dāng)n比較大時(shí),一般要求n>=30,兩個(gè)樣本均值之差的抽樣分布可近似為正態(tài)分布。X2的總體容量為28,其樣本容量不可能超過30,故其S港和Q港兩個(gè)樣本均值之差(E(X1)-E(X2))的抽樣分布不服從正態(tài)分布。
S港和C港兩個(gè)樣本均值之差(E(X1)-E(X3))的抽樣分布近似服從正態(tài)分布,其均值和方差分別為E(E(X1) - E(X3)) = E(E(X1)) - E(E(X3)) = μ1 - μ3;D(E(X1) + E(X3)) = D(E(X1)) + D(E(X3)) = σ1²/n1 + σ3²/n3 。繪圖如下:
miu = np.mean(S_fare) - np.mean(C_fare) sig = np.sqrt(np.var(S_fare, ddof=1)/len(S_fare) + np.var(C_fare, ddof=1)/len(C_fare)) x = np.arange(- 110, 50) y = stats.norm.pdf(x, miu, sig) plt.plot(x, y) plt.xlabel("S_Fare - C_Fare") plt.ylabel("Density") plt.title('Fare difference between S and C') plt.show()
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python進(jìn)程池的簡(jiǎn)單實(shí)現(xiàn)
本文主要介紹了python進(jìn)程池的簡(jiǎn)單實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03Python之random庫(kù)的常用函數(shù)有哪些
這篇文章主要為大家詳細(xì)介紹了Python之random庫(kù)的常用函數(shù),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助2022-02-02python實(shí)現(xiàn)跨年表白神器--你值得擁有
這篇文章主要介紹了python實(shí)現(xiàn)跨年表白神器的方法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2021-01-01python str字符串轉(zhuǎn)uuid實(shí)例
這篇文章主要介紹了python str字符串轉(zhuǎn)uuid實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03Python 使用PIL.Image制作運(yùn)動(dòng)小人的動(dòng)態(tài)圖思路詳解
這篇文章主要介紹了Python 使用PIL.Image制作一個(gè)運(yùn)動(dòng)小人的動(dòng)態(tài)圖,制作過程也很簡(jiǎn)單,只需要把圖片拆分成12等分,每幀大?。?7x165;連續(xù)讀取和播放就會(huì)形成動(dòng)態(tài)圖像,需要的朋友可以參考下2021-10-10使用 Django Highcharts 實(shí)現(xiàn)數(shù)據(jù)可視化過程解析
這篇文章主要介紹了使用 Django Highcharts 實(shí)現(xiàn)數(shù)據(jù)可視化過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07如何用python 操作MongoDB數(shù)據(jù)庫(kù)
這篇文章主要介紹了如何用python 操作MongoDB數(shù)據(jù)庫(kù),幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下2021-04-04