import numpy as np
import pandas as pd 
a=np.ones((2,3))
b=pd.DataFrame(a)
print(a)
print(b)

   b.head()#默認展示前5行，可在head()加入數(shù)字，展示前幾行
   b.tail()#默認展示后5行，可在tail()加入數(shù)字，展示后幾行

import  numpy as np
   # 創(chuàng)建一個符合正態(tài)分布的10個股票5天的漲跌幅數(shù)據(jù)
stock_change = np.random.normal(0, 1, (10, 5))
pd.DataFrame(stock_change)
#設置行列索引
stock = ["股票{}".format(i) for i in range(10)]
date = pd.date_range(start="20200101", periods=5, freq="B")#這個是pandas中設置日期的
# 添加行列索引
data = pd.DataFrame(stock_change, index=stock, columns=date)
print(data)

# 創(chuàng)建一個符合正態(tài)分布的10個股票5天的漲跌幅數(shù)據(jù)
stock_change = np.random.normal(0, 1, (10, 5))
pd.DataFrame(stock_change)
#設置行列索引
stock = ["股票{}".format(i) for i in range(10)]
date = pd.date_range(start="20200101", periods=5, freq="B")#這個是pandas中設置日期的
# 添加行列索引
data = pd.DataFrame(stock_change, index=stock, columns=date)
print(data)

#不能單獨修改行列總某一個索引的值，可以替換整行或整列   例：b.index[2]='股票1'  錯誤
data.index=新行索引
#重設索引
data.reset_index(drop=False)
#drop參數(shù)默認為False，表示將原來的索引替換掉，換新索引為數(shù)字遞增，原來的索引將變?yōu)閿?shù)據(jù)的一部分。True表示，將原來的索引刪除，更換為數(shù)字遞增。如下圖

# 設置新索引
df = pd.DataFrame({'month': [1, 4, 7, 10],
                    'year': [2012, 2014, 2013, 2014],
                    'sale':[55, 40, 84, 31]})
# 以月份設置新的索引
df.set_index("month", drop=True)
#見下圖，即將原本數(shù)據(jù)中的一列拿出來作為index
new_df = df.set_index(["year", "month"])# 設置多個索引，以年和月份   多個索引其實就是MultiIndex

items - axis 0，每個項目對應于內部包含的數(shù)據(jù)幀(DataFrame)。
major_axis - axis 1，它是每個數(shù)據(jù)幀(DataFrame)的索引(行)。
minor_axis - axis 2，它是每個數(shù)據(jù)幀(DataFrame)的列。

# 創(chuàng)建
pd.Series(np.arange(3, 9, 2), index=["a", "b", "c"])
# 或
pd.Series({'red':100, 'blue':200, 'green': 500, 'yellow':1000})

sr = data.iloc[1, :]
sr.index # 索引
sr.values # 值

#####就是從dataframe中抽出一行或一列來觀察
12345678910

data=pd.read_csv("./stock_day/stock_day.csv")#讀入文件的前5行表示如下
######利用drop刪除某些行列，需要利用axis告知函數(shù)是行索引還是列索引
data=data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1) # 去掉一些不要的列
data["open"]["2018-02-26"] # 直接索引，但需要遵循先列后行
#####按名字索引利用.loc函數(shù)可以不遵循列行先后關系
data.loc["2018-02-26"]["open"] # 按名字索引
data.loc["2018-02-26", "open"]
#####利用.iloc函數(shù)可以只利用數(shù)字進行索引
data.iloc[1][0] # 數(shù)字索引
data.iloc[1,0]
# 組合索引
# 獲取行第1天到第4天，['open', 'close', 'high', 'low']這個四個指標的結果
data.ix[:4, ['open', 'close', 'high', 'low']] # 現(xiàn)在不推薦用了
###但仍可利用loc和iloc
data.loc[data.index[0:4], ['open', 'close', 'high', 'low']]
data.iloc[0:4, data.columns.get_indexer(['open', 'close', 'high', 'low'])]

data.open=100
data['open']=100
###兩種方式均可
data.iloc[1,0]=100
###找好索引即可

data.sort_values(by="high", ascending=False) # DataFrame內容排序，ascending表示升序還是降序，默認True升序

data.sort_values(by=["high", "p_change"], ascending=False).head() # 多個列內容排序。給出的優(yōu)先級進行排序

data.sort_index(ascending=True)###對行索引進行排序

#這里是取出了一列 “price_change”列，為serise，用法同上
sr = data["price_change"]
sr.sort_values(ascending=False)
sr.sort_index()

#正常的加減乘除等的運算即可
data["open"] + 3
data["open"].add(3) # open統(tǒng)一加3  
data.sub(100)# 所有統(tǒng)一減100 data - 100
(data["close"]-(data["open"])).head() # close減open

# 例如篩選p_change > 2的日期數(shù)據(jù)
data[data["p_change"] > 2].head()
# 完成一個多個邏輯判斷， 篩選p_change > 2并且low > 15
data[(data["p_change"] > 2) & (data["low"] > 15)].head()
data.query("p_change > 2 & low > 15").head()###等效于上一行代碼

###判斷# 判斷'turnover'列索引中是否有4.19, 2.39，將返回一列布爾值
data["turnover"].isin([4.19, 2.39])##如下圖

###判斷# 判斷'turnover'列索引中是否有4.19, 2.39，將返回一列布爾值
data["turnover"].isin([4.19, 2.39])##如下圖
data[data["turnover"].isin([4.19, 2.39])]
#這塊就將返回turnover列布爾值為true的如下圖，也就是篩選出turnover中值為4.19和2.39
###布爾值索引是一個很方便的數(shù)據(jù)篩選操作，比如：
data[data["turnover"]>0.1]
#也將篩選出turnover列中大于0.1的整體data數(shù)據(jù)，并不是說只返回turnover相關數(shù)據(jù)，判斷只是返回布爾索引，利用索引的是data數(shù)據(jù)

data.describe()
#將返回關于列的最值，均值，方差等多種信息
##其實這里很多就和numpy相似了
data.max(axis=0)#返回最值
data.idxmax(axis=0) #返回最值索引

data.apply(lambda x: x.max() - x.min())
#這里的lambda x: x.max() - x.min()是lambda表達式，是函數(shù)的簡單寫法也可
def fx(data):
	return	data.max()-data.min()

#更簡易用matplotlib
data.plot(x="volume", y="turnover", kind="scatter")
data.plot(x="high", y="low", kind="scatter")
data['volume'].plot()

DataFrame.to_csv(path_or_buf=None,sep=','columns=None,header=True,index=True,index_label=None,mode='w',encoding=None)
1

Series.to_csv (path=None,index=True,sep=',',na_rep='',float_format=None,header=False,index_label=None,mode='w',encoding=None,compression=None,date_format=None,decimal='.)

pd.read_csv("./stock_day/stock_day.csv", usecols=["high", "low", "open", "close"]).head() # 讀哪些列

data = pd.read_csv("stock_day2.csv", names=["open", "high", "close", "low", "volume", "price_change", "p_change", "ma5", "ma10", "ma20", "v_ma5", "v_ma10", "v_ma20", "turnover"]) # 如果列沒有列名，用names傳入

data[:10].to_csv("test.csv", columns=["open"]) # 保存open列數(shù)據(jù)

data[:10].to_csv("test.csv", columns=["open"], index=False, mode="a", header=False) # 保存opend列數(shù)據(jù)，index=False不要行索引，mode="a"追加模式|mode="w"重寫，header=False不要列索引

day_close = pd.read_hdf("./stock_data/day/day_close.h5"，key="close")
day_close.to_hdf("test.h5",key="close" )

sa = pd.read_json("Sarcasm_Headlines_Dataset.json", orient="records", lines=True)
##主要是path，orient是一種確定索引與數(shù)值的對應，以本例來看，列索引就是‘key',values就是key對應的值
sa.to_json("test.json", orient="records", lines=True)

movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)
###這就是先利用其他代碼判斷出"Revenue (Millions)"有nan數(shù)據(jù)，然后利用.fillna函數(shù)，令value=movie["Revenue (Millions)"].mean()列的均值，然后inplace=True修改原數(shù)據(jù)

import pandas as pd
import numpy as np
movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")
# 1）判斷是否存在NaN類型的缺失值
np.any(pd.isnull(movie)) # 返回True，說明數(shù)據(jù)中存在缺失值
np.all(pd.notnull(movie)) # 返回False，說明數(shù)據(jù)中存在缺失值
pd.isnull(movie).any()
pd.notnull(movie).all()

# 2）缺失值處理
# 方法1：刪除含有缺失值的樣本
data1 = movie.dropna()
pd.notnull(data1).all()

# 方法2：替換
# 含有缺失值的字段
# Revenue (Millions)    
# Metascore
movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)
movie["Metascore"].fillna(movie["Metascore"].mean(), inplace=True)

# 讀取數(shù)據(jù)
path = "wisconsin.data"
name = ["Sample code number",  "Normal Nucleoli","Mitoses", "Class"]
data = pd.read_csv(path, names=name)

#這里的非nan標記值缺失值就是利用“?”表示的，因此利用參數(shù)to_replace,value=np.nan,將默認標記值替換為nan值，然后再利用簽署方法處理nan缺失值
# 1）替換
data_new = data.replace(to_replace="?", value=np.nan)

# 1）準備數(shù)據(jù)
data = pd.Series([165,174,160,180,159,163,192,184], index=['No1:165', 'No2:174','No3:160', 'No4:180', 'No5:159', 'No6:163', 'No7:192', 'No8:184']) 
# 2）分組
# 自動分組
sr = pd.qcut(data, 3)
sr.value_counts()  # 看每一組有幾個數(shù)據(jù)
# 3）轉換成one-hot編碼
pd.get_dummies(sr, prefix="height")

# 自定義分組
bins = [150, 165, 180, 195]#這就表示有三組[150,165][165,180][180,195]
sr = pd.cut(data, bins)
# get_dummies
pd.get_dummies(sr, prefix="身高")

pd.concat([data1, data2], axis=1) 
#axis：0為列索引；1為行索引

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
                        'key2': ['K0', 'K1', 'K0', 'K1'],
                        'A': ['A0', 'A1', 'A2', 'A3'],
                        'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
                        'key2': ['K0', 'K0', 'K0', 'K0'],
                        'C': ['C0', 'C1', 'C2', 'C3'],
                        'D': ['D0', 'D1', 'D2', 'D3']})
pd.merge(left, right, how="inner", on=["key1", "key2"])
pd.merge(left, right, how="left", on=["key1", "key2"])
pd.merge(left, right, how="outer", on=["key1", "key2"])
###這里merge參數(shù)解釋：
#left: 需要合并的一個表，合并后在左側
#right:需要合并的一個表，合并后在右側
#how: 合并方式
#on: 在哪些索引上進行合并

data = pd.crosstab(stock["week"], stock["pona"])
data.div(data.sum(axis=1), axis=0).plot(kind="bar", stacked=True)

# 透視表操作
stock.pivot_table(["pona"], index=["week"])

col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen'],'price1':[5.56,4.20,1.30,0.56,2.75],'price2':[4.75,4.12,1.60,0.75,3.15]})

# 進行分組，對顏色分組，price1進行聚合
# 用dataframe的方法進行分組
col.groupby(by="color")

# 或者用Series的方法進行分組聚合
col["price1"].groupby(col["color"])

# 1、準備數(shù)據(jù)
movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")
###movie讀入后如上圖所示
######################問題一
# 問題1：我們想知道這些電影數(shù)據(jù)中評分的平均分，導演的人數(shù)等信息，我們應該怎么獲??？
# 評分的平均分
movie["Rating"].mean()
# 導演的人數(shù)
np.unique(movie["Director"]).size

######################問題二
##繪制直方圖查看分布
movie["Rating"].plot(kind="hist", figsize=(20, 8))
#利用matplotlib可更細致繪圖
import matplotlib.pyplot as plt
# 1、創(chuàng)建畫布
plt.figure(figsize=(20, 8), dpi=80)
# 2、繪制直方圖
plt.hist(movie["Rating"], 20)
# 修改刻度
plt.xticks(np.linspace(movie["Rating"].min(),movie["Rating"].max(), 21))
# 添加網格
plt.grid(linestyle="--", alpha=0.5)
# 3、顯示圖像
plt.show()


######################問題三
##如果我們希望統(tǒng)計電影分類(genre)的情況，應該如何處理數(shù)據(jù)？
###可以發(fā)現(xiàn)圖中genre一列數(shù)據(jù)中每個電影都有多種標簽，因此要先分割
# 先統(tǒng)計電影類別都有哪些
movie_genre = [i.split(",") for i in movie["Genre"]]
###得到的movie_genre結構圖見《下圖一》
###這一塊主要是把movie_genre的二維列表變?yōu)橐詾榱斜?，然后利用unique函數(shù)去重
movie_class = np.unique([j for i in  movie_genre for j in i])
len(movie_class)####這就得到了電影的類型標簽種類數(shù)

# 統(tǒng)計每個類別有幾個電影
count = pd.DataFrame(np.zeros(shape=[1000, 20], dtype="int32"), columns=movie_class)
count.head()###得到的count結構如《下圖二》
# 計數(shù)填表
for i in range(1000):
    count.ix[i, movie_genre[i]] = 1###注意ix現(xiàn)在不太能用了
    ############movie_genre[i]將返回字符索引列
#這就得到了下面第三張圖片的數(shù)據(jù)處理效果，列表示電影類型種類，行表示不同電影，如《下圖三》
#因此只需逐列求和即可得到每類標簽電影的數(shù)量
##最終實現(xiàn)數(shù)據(jù)可視化如《下圖四》
count.sum(axis=0).sort_values(ascending=False).plot(kind="bar", figsize=(20, 9), fontsize=40, colormap="cool")