import torch
import torch.nn as nn
import torchvision
import torchvision.utils as vutils
from torch.optim import SGD
import torch.utils.data as Data
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt
 
"""
下面導(dǎo)入手寫字體數(shù)據(jù)，并將數(shù)據(jù)處理為數(shù)據(jù)加載器
"""
train_data=torchvision.datasets.MNIST(
    root="./Dataset",
    train=True,
    #將數(shù)據(jù)轉(zhuǎn)化為torch使用的張量，取值范圍為[0-1]
    transform=torchvision.transforms.ToTensor(),
    download=False#因?yàn)閿?shù)據(jù)已經(jīng)下載過(guò)所以這里不在下載
    )
#定義一個(gè)數(shù)據(jù)加載器
train_loader=Data.DataLoader(
    dataset=train_data,#使用的數(shù)據(jù)集
    batch_size=128,#批處理樣本大小
    shuffle=True,
    num_workers=0
)
#準(zhǔn)備需要的測(cè)試集
test_data=torchvision.datasets.MNIST(
    root="./Dataset",
    train=False,
    download=False
)
#為數(shù)據(jù)添加一個(gè)通道維度，并且取值范圍縮放到[0-1]之間
test_data_x=test_data.data.type(torch.FloatTensor)/255.0
test_data_x=torch.unsqueeze(test_data_x,dim=1)
test_data_y=test_data.targets#測(cè)試集的標(biāo)簽
print(test_data_x.shape)
print(test_data_y.shape)
"""
(1)針對(duì)訓(xùn)練集使用torchvision.datasets.MNIST()函數(shù)導(dǎo)入數(shù)據(jù)，
并將其像素值轉(zhuǎn)化到0~1之間，然后使用Data.DataLoader()函數(shù)定義一個(gè)數(shù)據(jù)加載器，
每個(gè)batch包含128張圖像。
(2)針對(duì)測(cè)試數(shù)據(jù)，同樣使用torchvision.datasets.MNIST()函數(shù)導(dǎo)入數(shù)據(jù)，
但不將數(shù)據(jù)處理為數(shù)據(jù)加載器，而是將整個(gè)測(cè)試集作為一個(gè)batch，方便計(jì)算模型在測(cè)試集上的預(yù)測(cè)精度。
"""
#搭建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)
class ConvNet(nn.Module):
    def __init__(self):
        super(ConvNet,self).__init__()
        #定義第一個(gè)卷積層
        self.conv1=nn.Sequential(
            nn.Conv2d(
                in_channels=1,#輸入的feature_map
                out_channels=16,#輸出的feature_map
                kernel_size=3,#卷積核尺寸
                stride=1,#卷積核步長(zhǎng)
                padding=1,#進(jìn)行填充
            ),
            nn.ReLU(),#激活函數(shù)
            nn.AvgPool2d(
                kernel_size=2,#平均值池化層,使用2*2
                stride=2,#池化步長(zhǎng)為2
            ),
        )
        #定義第二個(gè)卷積層
        self.conv2=nn.Sequential(
            nn.Conv2d(16,32,3,1,1),
            nn.ReLU(),#激活函數(shù)
            nn.MaxPool2d(2,2)#最大值池化
        )
        #定義全連接層
        self.fc=nn.Sequential(
            nn.Linear(
                in_features=32*7*7,#輸入特征
                out_features=128#輸出特征
            ),
            nn.ReLU(),#激活層
            nn.Linear(128,64),#
            nn.ReLU()#激活層
        )
        self.out=nn.Linear(64,10)#最后的分類層
    def forward(self,x):
        x=self.conv1(x),
        x=self.conv2(x),
        x=x.view(x.size(0),-1),#展平多維的卷積圖層
        x=self.fc(x),
        output=self.out(x),
        return output
myConvNet=ConvNet()

from torchviz import make_dot
x=torch.randn(1,1,28,28).requires_grad_(True)
y=myConvNet(x)
#make_dot用來(lái)得到網(wǎng)絡(luò)的可視化圖像
myConvNets=make_dot(y,params=dict(list(myConvNet.named_parameters())+[("x",x)]))
myConvNets.format='png'#指定可視化圖像的格式
myConvNets.directory="model_graph/"#指定圖像保存的文件夾
myConvNets.view()

from tensorboardX import SummaryWriter
SumWriter=SummaryWriter(log_dir='./log')#日志保存路徑
#定義優(yōu)化器
optimizer=torch.optim.Adam(myConvNet.parameters(),lr=0.003)
#定義損失函數(shù)
loss_func=nn.CrossEntropyLoss()
train_loss=0
print_step=100#每經(jīng)過(guò)100次迭代，輸出損失
#對(duì)模型進(jìn)行迭代訓(xùn)練，對(duì)所有的數(shù)據(jù)訓(xùn)練epoch輪
for epoch in range(5):
    #對(duì)訓(xùn)練數(shù)據(jù)的加載器進(jìn)行迭代計(jì)算
    for step,(b_x,b_y) in enumerate(train_loader):
        #計(jì)算每個(gè)batch上的損失
        output=myConvNet(b_x)
        loss=loss_func(output,b_y)#交叉熵?fù)p失函數(shù)
        optimizer.zero_grad()#每個(gè)迭代步的梯度初始化為0
        loss.backward()#損失后向傳播
        optimizer.step()#使用梯度進(jìn)行優(yōu)化
        train_loss=train_loss+loss#計(jì)算累加損失
        niter=epoch*len(train_loader)+step+1#計(jì)算迭代次數(shù)
        #計(jì)算每經(jīng)過(guò)print_step次迭代后的輸出
        if niter % print_step==0:
            #為日志添加訓(xùn)練集損失函數(shù)
            SumWriter.add_scalar("train loss",train_loss.item() / niter,global_step=niter)
            #計(jì)算在測(cè)試集上的精度
            output=myConvNet(test_data_x)
            _,pre_lab=torch.max(output,1)
            acc=accuracy_score(test_data_y,pre_lab)
            #為日志添加測(cè)試集上的預(yù)測(cè)精度
            SumWriter.add_scalar("test acc",acc.item(),niter)
            #為日志中添加訓(xùn)練數(shù)據(jù)的可視化圖像，使用當(dāng)前batch的圖像
            #將一個(gè)batch的數(shù)據(jù)進(jìn)行預(yù)處理
            b_x_im=vutils.make_grid(b_x,nrow=12)
            SumWriter.add_image('train image sample',b_x_im,niter)
            #使用直方圖可視化網(wǎng)絡(luò)中參數(shù)的分布情況
            for name,param in myConvNet.named_parameters():
                SumWriter.add_histogram(name,param.data.numpy(),niter)
 

import numpy as np
import torch
from visdom import Visdom
from sklearn.datasets import load_iris
iris_x,iris_y=load_iris(return_X_y=True)
print(iris_x.shape)
print(iris_y.shape)
"""
上面的程序?qū)肓锁S尾花數(shù)據(jù)集，包含3類數(shù)據(jù)，150個(gè)樣本，每個(gè)樣本包含4個(gè)特征。
"""
vis=Visdom()
#2D散點(diǎn)圖
vis.scatter(iris_x[:,0:2],Y=iris_y+1,win="windows1",env="main")
#3D散點(diǎn)圖
vis.scatter(iris_x[:,0:3],Y=iris_y+1,win="3D 散點(diǎn)圖",env="main",opts=dict(markersize=4,xlabel="特征一",ylabel="特征二"))
"""
程序中使用vis = Visdom()初始化一個(gè)繪圖對(duì)象，通過(guò)vis.scatter()為對(duì)象添加散點(diǎn)圖。
在該函數(shù)中，如果輸入的X為二維則可得到2D散點(diǎn)圖，如果輸入的X為三維則可得到3D散點(diǎn)圖，
其中參數(shù)Y用于指定數(shù)據(jù)的分組情況,參數(shù)win指定圖像的窗口名稱，參數(shù)env則指定圖像所在的環(huán)境。
可以發(fā)現(xiàn)兩幅圖像都在主環(huán)境main中。圖像的其他設(shè)置可使用opts參數(shù)通過(guò)字典的形式設(shè)置。
在上述初始化的可視化圖像環(huán)境main中，繼續(xù)添加其他窗口，以繪制不同類型的圖像，如添加折線圖.
"""
#添加折線圖
x=torch.linspace(-6,6,100).view((-1,1))
sigmoid=torch.nn.Sigmoid()
sigmoidy=sigmoid(x)
tanh=torch.nn.Tanh()
tanhy=tanh(x)
relu=torch.nn.ReLU()
reluy=relu(x)
#連接3個(gè)張量
ploty=torch.cat((sigmoidy,tanhy,reluy),dim=1)
plotx=torch.cat((x,x,x),dim=1)
vis.line(Y=ploty,X=plotx,win="line plot",env="main",opts=dict(dash=np.array(["solid","dash","dashdot"]),legend=["Sigmoid","Tanh","ReLU"]))
"""
上面的程序中，可視化出了sigmoid、Tanh和ReLU三種激活函數(shù)的圖像。
在可視化折線時(shí)，使用vis.line()函數(shù)進(jìn)行繪圖，圖像在環(huán)境main中，
通過(guò)win參數(shù)指定窗口名稱為line plot，然后通過(guò)opts參數(shù)為不同的線設(shè)置了不同的線型。
"""
#添加莖葉圖
x=torch.linspace(-6,6,100).view((-1,1))
y1=torch.sin(x)
y2=torch.cos(x)
#連接2個(gè)變量
plotx=torch.cat((y1,y2),dim=1)
ploty=torch.cat((x,x),dim=1)
vis.stem(X=plotx,Y=ploty,win="stem plot",env="main",
         #設(shè)置圖例
        opts=dict(legend=["sin","cos"],title="莖葉圖") )
"""
上面的程序中，可視化出了正弦和余弦函數(shù)的莖葉圖。
在可視化時(shí)通過(guò)vis.stem()函數(shù)繪圖，圖像在環(huán)境main中，
通過(guò)win參數(shù)指定窗口名稱為stem plot，然后通過(guò)opts參數(shù)為圖像添加圖例和標(biāo)題。
"""
#添加熱力圖
iris_corr=torch.from_numpy(np.corrcoef(iris_x,rowvar=False))
vis.heatmap(iris_corr,win="heatmap",env="main",
            #設(shè)置每個(gè)特征的名稱
            opts=dict(rownames=["x1","x2","x3","x4"],columnnames=["x1","x2","x3","x4"],title="熱力圖"))
"""
程序中可視化出了鳶尾花數(shù)據(jù)集中4個(gè)特征的相關(guān)系數(shù)熱力圖。
在可視化時(shí)通過(guò)vis.heatmap()函數(shù)進(jìn)行繪圖，圖像在環(huán)境main中，
通過(guò)win參數(shù)指定窗口名稱為heatmap，然后通過(guò)opts參數(shù)為圖像添加X(jué)軸的變量名稱、Y軸變量名稱和標(biāo)題。
"""