python多維數(shù)組分位數(shù)的求取方式
在python中計算一個多維數(shù)組的任意百分比分位數(shù)，只需用np.percentile即可，十分方便
import numpy as np a = [154, 400, 1124, 82, 94, 108] print np.percentile(a,95) # gives the 95th percentile
補充拓展：如何解決hive同時計算多個分位數(shù)的問題
眾所周知，原生hive沒有計算中位數(shù)的函數(shù)(有的平臺會有)，只有計算分位數(shù)的函數(shù)percentile
在數(shù)據(jù)量不大的時候，速度尚可。但是數(shù)據(jù)量一上來之后，完全計算不出來。
那么如何解決這個問題呢，我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數(shù)，速度飛快。
比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組，value_mccgroup的分位數(shù)
第一步：利用row_number() over()給value_mccgroup在分組里排序，記錄下排名
第二步：計算mkt_label,mccgroup,month分組下的數(shù)據(jù)總數(shù)
第三步：join前兩步的結(jié)果，取rank=你需要計算的分位數(shù)位置，想計算多少個分位數(shù)就計算多少個
第四步：再排一次序，這次數(shù)據(jù)量就已經(jīng)少了很多了，畢竟每組里面只有幾個數(shù)據(jù)，記錄排名
第五步：得到具體的分位數(shù)
第六步：行轉(zhuǎn)成列，所有分位數(shù)計算完畢
后來查看了下SQL代碼的執(zhí)行樹，發(fā)現(xiàn)percentile利用了map來存數(shù)據(jù)，怪不得這么耗內(nèi)存，其實時間久并不是算的時間久，是因為內(nèi)存不夠了，系統(tǒng)一直在回收內(nèi)存
而rank over 僅僅就是個排序而已
以上這篇python多維數(shù)組分位數(shù)的求取方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
python爬蟲實現(xiàn)爬取同一個網(wǎng)站的多頁數(shù)據(jù)的實例講解
在本篇文章里小編給大家整理了一篇關(guān)于python爬蟲實現(xiàn)爬取同一個網(wǎng)站的多頁數(shù)據(jù)的實例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2021-01-01
這篇文章主要介紹了Python使用OpenPyXL處理Excel表格,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07
在Python中操作列表之List.append()方法的使用
這篇文章主要介紹了在Python中操作列表之List.append()方法的使用,是Python入門學(xué)習(xí)中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05
pyqt QPlainTextEdit 中捕獲回車的示例代碼
在PyQt的QPlainTextEdit控件中,可以通過重寫keyPressEvent()函數(shù)來捕獲鍵盤事件,這篇文章主要介紹了pyqt QPlainTextEdit 中捕獲回車,需要的朋友可以參考下2024-03-03
python網(wǎng)絡(luò)編程示例(客戶端與服務(wù)端)
這篇文章主要介紹了python網(wǎng)絡(luò)編程示例，提供了客戶端與服務(wù)端,需要的朋友可以參考下2014-04-04
在Windows中定時執(zhí)行Python腳本的詳細教程
在Windows系統(tǒng)中,定時執(zhí)行Python腳本是一個常見需求,特別是在需要自動化數(shù)據(jù)處理、監(jiān)控任務(wù)或周期性維護等場景中,本文將結(jié)合實際案例,詳細介紹如何在Windows中通過任務(wù)計劃程序（Task Scheduler）來實現(xiàn)定時執(zhí)行Python腳本的功能,需要的朋友可以參考下2024-08-08
這篇文章主要介紹了淺談tensorflow 中的圖片讀取和裁剪方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了如何通過Python3和ssl實現(xiàn)加密通信功能,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-05-05
Python中數(shù)字(Number)數(shù)據(jù)類型常用操作
本文主要介紹了Python中數(shù)字(Number)數(shù)據(jù)類型常用操作，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要為大家介紹了Python函數(shù)的嵌套，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01