利用pandas按日期做分組運算的操作
原始數(shù)據(jù)
TS PERIOD REQUEST STEPPED VALUE STATUS SECONDS 20-DEC-16 00:00:00.0 600 1 0 2.018 0 1482163200 20-DEC-16 00:01:00.0 600 1 0 2.019 0 1482163260 20-DEC-16 00:02:00.0 600 1 0 2.019 0 1482163320 20-DEC-16 00:03:00.0 600 1 0 2.019 0 1482163380 20-DEC-16 00:04:00.0 600 1 0 2.019 0 1482163440 20-DEC-16 00:05:00.0 600 1 0 2.020 0 1482163500 20-DEC-16 00:06:00.0 600 1 0 2.020 0 1482163560
我們的目標(biāo)是把TS列從
20-DEC-16 00:00:00.0
轉(zhuǎn)變?yōu)?/p>
20-DEC-16
的格式，然后按天取均值。
導(dǎo)入包
import numpy as np from pandas import DataFrame, Series import pandas as pd from datetime import datetime
讀入文件
df = pd.read_csv('data/test.txt',sep='\t')
這里沒有解決中文路徑名和絕對路徑的問題.
轉(zhuǎn)化為數(shù)據(jù)框
df = DataFrame(df)
轉(zhuǎn)化為時間格式
將TS列轉(zhuǎn)化為時間格式，并保存為新的一列DATE，之后，只留下DATE和VALUE兩列，其他統(tǒng)統(tǒng)不要。
df['DATE'] = pd.to_datetime(df['TS']) df = df[['DATE','VALUE']]
關(guān)鍵一步
把形如‘2017-9-4 00:00:00'轉(zhuǎn)化為‘2017-9-4 '
df['DATE'] = [datetime.strftime(x,'%Y-%m-%d') for x in df['DATE']]
strftime有若干參數(shù)，其中Y表示四位數(shù)的年，m表示兩位數(shù)的月。
旋轉(zhuǎn)數(shù)據(jù)框
df =df.pivot_table(index='DATE',aggfunc='mean')
補(bǔ)充：利用Pandas和Numpy按時間戳將數(shù)據(jù)以Groupby方式分組
首先說一下需求，我需要將數(shù)據(jù)以分鐘為單位進(jìn)行分組，然后每一分鐘內(nèi)的數(shù)據(jù)作為一行輸出，因為不同時間的數(shù)據(jù)量不一樣，所以所有數(shù)據(jù)按照最長的那組數(shù)據(jù)為準(zhǔn)，不足的數(shù)據(jù)以各自的最后一個數(shù)據(jù)進(jìn)行補(bǔ)足。
之后要介紹一下我的數(shù)據(jù)源，之前沒用的數(shù)據(jù)列已經(jīng)去除，我只留下要用到的數(shù)據(jù)data列和時間戳time列，時間戳是以秒計的，可以看到一共是407454行。
data time 0 6522.50 1.530668e+09 1 6522.66 1.530668e+09 2 6523.79 1.530668e+09 3 6523.79 1.530668e+09 4 6524.82 1.530668e+09 5 6524.35 1.530668e+09 6 6523.66 1.530668e+09 7 6522.64 1.530668e+09 8 6523.25 1.530668e+09 9 6523.88 1.530668e+09 10 6525.30 1.530668e+09 11 6525.70 1.530668e+09 ... ... ... 407443 6310.69 1.531302e+09 407444 6310.55 1.531302e+09 407445 6310.42 1.531302e+09 407446 6310.40 1.531302e+09 407447 6314.03 1.531302e+09 407448 6314.04 1.531302e+09 407449 6312.84 1.531302e+09 407450 6312.57 1.531302e+09 407451 6312.56 1.531302e+09 407452 6314.04 1.531302e+09 407453 6314.04 1.531302e+09 [407454 rows x 2 columns]
開始進(jìn)行數(shù)據(jù)處理，定義一個函數(shù)，輸入為一個DataFrame和時間列的命名。
def getdata_time(dataframe,name):
dataframe[name] = dataframe[name]/60 #將時間轉(zhuǎn)換為分鐘
dataframe[name] = dataframe[name].astype('int64')
datalen = dataframe.groupby(name).count().max() #獲取數(shù)據(jù)最大長度
timeframe = dataframe.groupby(name).count().reset_index()#為了獲取時間將分組后時間轉(zhuǎn)換為DataFrame
timeseries = timeframe['time']
array = [] #建立一個空數(shù)組以便存值
for time, group in dataframe.groupby(name):
tmparray = numpy.array(group['data']) #將series轉(zhuǎn)換為數(shù)組并添加到總數(shù)組中
array.append(tmparray)
notimedata = pandas.DataFrame(array)
notimedata = notimedata.fillna(method='ffill',axis = 1,limit=datalen[0]) #將缺失值補(bǔ)全
notimedata[datalen[0]+1] = timeseries #把時間添加到最后一列
return notimedata
下面將逐行進(jìn)行分析，首先要以每分鐘為依據(jù)進(jìn)行分組，那么將秒計的時間戳除以60變?yōu)榉昼?，轉(zhuǎn)換為int型是為了觀察方便（更改類型是否會導(dǎo)致數(shù)據(jù)精度缺失影響結(jié)果并不清楚，如果有了解的人看到歡迎指出，謝謝）。
datalen是我們要用到的每分鐘中最大的數(shù)據(jù)長度，用來作為標(biāo)齊依據(jù)。DataFrame.groupby.count()是分別顯示每組數(shù)據(jù)的個數(shù)，并不是顯示有多少個分組，如果想要獲取分組后每一組的index就需要用到下一行的reset_index方法，之所以不直接用reset_index而是在count()方法后調(diào)用是因為groupby分組后的結(jié)果不是一個DataFrame，而經(jīng)過count()（不僅僅是count，對分組數(shù)據(jù)操作的方法都可以，只要得出的結(jié)果是與每一組的index一一對應(yīng)即可）操作后就可以得到一個以index為一列，另一列是count結(jié)果的DataFrame。
以下為直接進(jìn)行reset_index操作的報錯：
AttributeError: Cannot access callable attribute 'reset_index' of 'DataFrameGroupBy' objects, try using the 'apply' method
以下為經(jīng)過count操作后的reset_index方法顯示結(jié)果，可以看到一共分為了10397組：
time data 0 25511135 33 1 25511136 18 2 25511137 25 3 25511138 42 4 25511139 36 5 25511140 7 6 25511141 61 7 25511142 45 8 25511143 46 9 25511144 19 10 25511145 21 ... ... ... 10387 25521697 3 10388 25521698 9 10389 25521699 16 10390 25521700 13 10391 25521701 4 10392 25521702 34 10393 25521703 124 10394 25521704 302 10395 25521705 86 10396 25521706 52 [10397 rows x 2 columns]
提取的timeseries將在最后數(shù)據(jù)整合時使用。
現(xiàn)在開始將每組數(shù)據(jù)提取，首先建立一個空的數(shù)組用來存放，然后利用for循環(huán)獲取每一組的信息，time即為分組的index，group即為每一分組的內(nèi)容，將數(shù)據(jù)從group['data']中取出并添加到之前建立的空數(shù)組里，循環(huán)操作過后轉(zhuǎn)換為DataFrame，當(dāng)然這個DataFrame中包含了大量缺失值，因為它的列數(shù)是以最長的數(shù)據(jù)為準(zhǔn)。
如下：
0 1 2 3 ... 1143 1144 1145 1146 0 6522.50 6522.66 6523.79 6523.79 ... NaN NaN NaN NaN 1 6523.95 6524.90 6525.00 6524.35 ... NaN NaN NaN NaN 2 6520.87 6520.00 6520.45 6520.46 ... NaN NaN NaN NaN 3 6516.34 6516.26 6516.21 6516.21 ... NaN NaN NaN NaN 4 6513.28 6514.00 6514.00 6514.00 ... NaN NaN NaN NaN 5 6511.98 6511.98 6511.99 6513.00 ... NaN NaN NaN NaN 6 6511.00 6511.00 6511.00 6511.00 ... NaN NaN NaN NaN 7 6511.70 6511.78 6511.99 6511.99 ... NaN NaN NaN NaN 8 6509.51 6510.00 6510.80 6510.80 ... NaN NaN NaN NaN 9 6511.36 6510.00 6510.00 6510.00 ... NaN NaN NaN NaN 10 6507.00 6507.00 6507.00 6507.00 ... NaN NaN NaN NaN ... ... ... ... ... ... ... ... ... ... 10386 6333.77 6331.31 6331.30 6333.19 ... NaN NaN NaN NaN 10387 6331.68 6331.30 6331.68 NaN ... NaN NaN NaN NaN 10388 6331.30 6331.30 6331.00 6331.00 ... NaN NaN NaN NaN 10389 6330.93 6330.92 6330.92 6330.93 ... NaN NaN NaN NaN 10390 6330.83 6330.83 6330.90 6330.80 ... NaN NaN NaN NaN 10391 6327.57 6326.00 6326.00 6325.74 ... NaN NaN NaN NaN 10392 6327.57 6329.70 6328.85 6328.85 ... NaN NaN NaN NaN 10393 6323.54 6323.15 6323.15 6322.77 ... NaN NaN NaN NaN 10394 6311.00 6310.83 6310.83 6310.50 ... NaN NaN NaN NaN 10395 6311.45 6311.32 6310.01 6310.01 ... NaN NaN NaN NaN 10396 6310.46 6310.46 6310.56 6311.61 ... NaN NaN NaN NaN [10397 rows x 1147 columns]
可以看到行數(shù)是分組個數(shù)，一共1147列也是最多的那組數(shù)據(jù)長度。
之后我們通過調(diào)用fillna方法將缺失值進(jìn)行填充，method='ffill'是指以缺失值前一個數(shù)據(jù)為依據(jù),axis = 1是以行為單位,limit是指最大填充長度。最終，把我們之前取得的timeseries添加到最后一列，就得到了需求的最終結(jié)果。
0 1 2 ... 1145 1146 1148 0 6522.50 6522.66 6523.79 ... 6522.14 6522.14 25511135 1 6523.95 6524.90 6525.00 ... 6520.00 6520.00 25511136 2 6520.87 6520.00 6520.45 ... 6517.00 6517.00 25511137 3 6516.34 6516.26 6516.21 ... 6514.00 6514.00 25511138 4 6513.28 6514.00 6514.00 ... 6511.97 6511.97 25511139 5 6511.98 6511.98 6511.99 ... 6511.00 6511.00 25511140 6 6511.00 6511.00 6511.00 ... 6510.90 6510.90 25511141 7 6511.70 6511.78 6511.99 ... 6512.09 6512.09 25511142 8 6509.51 6510.00 6510.80 ... 6512.09 6512.09 25511143 9 6511.36 6510.00 6510.00 ... 6507.04 6507.04 25511144 10 6507.00 6507.00 6507.00 ... 6508.57 6508.57 25511145 11 6507.16 6507.74 6507.74 ... 6506.35 6506.35 25511146 ... ... ... ... ... ... ... ... 10388 6331.30 6331.30 6331.00 ... 6331.00 6331.00 25521698 10389 6330.93 6330.92 6330.92 ... 6330.99 6330.99 25521699 10390 6330.83 6330.83 6330.90 ... 6327.58 6327.58 25521700 10391 6327.57 6326.00 6326.00 ... 6325.74 6325.74 25521701 10392 6327.57 6329.70 6328.85 ... 6325.00 6325.00 25521702 10393 6323.54 6323.15 6323.15 ... 6311.00 6311.00 25521703 10394 6311.00 6310.83 6310.83 ... 6315.00 6315.00 25521704 10395 6311.45 6311.32 6310.01 ... 6310.00 6310.00 25521705 10396 6310.46 6310.46 6310.56 ... 6314.04 6314.04 25521706 [10397 rows x 1148 columns]
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
Windows下實現(xiàn)將Pascal VOC轉(zhuǎn)化為TFRecords
今天小編就為大家分享一篇Windows下實現(xiàn)將Pascal VOC轉(zhuǎn)化為TFRecords，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了python變量命名的7條建議，如何給變量命名，如何讓它變得有意義成了程序員不可逾越的難題,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了最新pycharm安裝教程,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python利用命名空間解析XML文檔,幫助大家更好的理解和學(xué)習(xí)Python，感興趣的朋友可以了解下2020-08-08
python numpy和list查詢其中某個數(shù)的個數(shù)及定位方法
今天小編就為大家分享一篇python numpy和list查詢其中某個數(shù)的個數(shù)及定位方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
淺析Python中將單詞首字母大寫的capitalize()方法
這篇文章主要介紹了淺析Python中將單詞首字母大寫的capitalize()方法,是Python入門中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05
python 實現(xiàn)批量替換文本中的某部分內(nèi)容
今天小編就為大家分享一篇python 實現(xiàn)批量替換文本中的某部分內(nèi)容，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python實現(xiàn)視頻目標(biāo)檢測與軌跡跟蹤流程詳解
通過閱讀相關(guān)文獻(xiàn)及測試，找到了一種基于多模板匹配的改進(jìn)方法，可以對遙感視頻衛(wèi)星中的移動目標(biāo)進(jìn)行探測，并繪制其軌跡。根據(jù)實驗結(jié)果發(fā)現(xiàn)，可以比較有效的對運動目標(biāo)進(jìn)行跟蹤2023-01-01
Python實現(xiàn)批量上傳本地maven庫到nexus
這篇文章主要為大家詳細(xì)介紹了如何使用Python實現(xiàn)批量上傳本地maven庫到nexus,文中的示例代碼講解詳細(xì),具有一定的借鑒價值,需要的小伙伴可以參考下2024-01-01
python經(jīng)典趣味24點游戲程序設(shè)計
這篇文章主要介紹了python經(jīng)典趣味24點游戲程序設(shè)計，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07