目錄

1.神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

2、基礎(chǔ)概念

3、數(shù)據(jù)預(yù)處理手段

4、數(shù)據(jù)處理庫

5、訓(xùn)練集、測試集，測試集

5、損失函數(shù)

6、優(yōu)化器

7、激活函數(shù)

8、hello world

9、總結(jié)

推薦閱讀??點(diǎn)擊標(biāo)題可跳轉(zhuǎn)

1、再不入坑就晚了，從零學(xué)pytorch，一步一步環(huán)境搭建

今天是第一篇文章，希望自己能堅(jiān)持，加油。

深度神經(jīng)網(wǎng)絡(luò)就是用一組函數(shù)去逼近原函數(shù)，訓(xùn)練的過程就是尋找參數(shù)的過程。

1.神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程如下：

• 收集數(shù)據(jù)，整理數(shù)據(jù)

• 實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)用于擬合目標(biāo)函數(shù)

• 做一個(gè)真實(shí)值和目標(biāo)函數(shù)值直接估計(jì)誤差的損失函數(shù)，一般選擇既定的損失函數(shù)

• 用損失函數(shù)值前向輸入值求導(dǎo)，

• 再根據(jù)導(dǎo)數(shù)的反方向去更新網(wǎng)絡(luò)參數(shù)(x),目的是讓損失函數(shù)值最終為0.，最終生成模型

各層概念解釋

• 輸入層：就是參數(shù)輸入

• 輸出層：就是最后的輸出

• 隱藏層（隱含層）：除去其他兩層之外的層都可以叫隱藏層

?模型是什么：

• 模型包含兩部分，一部分是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，一部分是各個(gè)參數(shù)，最后訓(xùn)練的成果就是這個(gè)

2、基礎(chǔ)概念

1、數(shù)學(xué)知識(shí)

1.1導(dǎo)數(shù)

導(dǎo)數(shù)在大學(xué)的時(shí)候還是學(xué)過的，雖然概念很簡單，但是過了這么多年幾乎也都忘了，連數(shù)學(xué)符號(hào)都不記得了，在復(fù)習(xí)之后才理解：就是表示數(shù)據(jù)變化的快慢，是變化率的概念，比如重力加速度，表示你自由落體之后每秒速度的增量。

數(shù)學(xué)公式是：

不重要，看不看的懂都行，因?yàn)樵诤竺娴膶W(xué)習(xí)中也不會(huì)讓你手動(dòng)求導(dǎo)，框架里都有現(xiàn)成的函數(shù)

1.2 梯度

梯度的本意是一個(gè)向量（矢量），表示某一函數(shù)在該點(diǎn)處的方向?qū)?shù)沿著該方向取得最大值，即函數(shù)在該點(diǎn)處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）

梯度：是一個(gè)矢量，其方向上的方向?qū)?shù)最大，其大小正好是此最大方向?qū)?shù)。

2、前向傳播和反向傳播

前向傳播就是前向調(diào)用，正常的函數(shù)調(diào)用鏈而已，沒什么特別的，破概念搞得神神秘秘的

比如

def?a(input):????return?ydef?b(input):????return?y2# 前向傳播def?forward(input):????y?=?a(input)????y2?=?b(y)

反向傳播

反向傳播就是根據(jù)誤差和學(xué)習(xí)率，將參數(shù)權(quán)重進(jìn)行調(diào)整，具體的算法下次會(huì)專門寫一篇文章進(jìn)行解析。

3、數(shù)據(jù)預(yù)處理手段

3.1 歸一化(normalization)

將數(shù)據(jù)放縮到0~1區(qū)間，利用公式（x-min）/（max-min）

3.2 標(biāo)準(zhǔn)化（Standardization）

? ?數(shù)據(jù)的標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間。將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)的正態(tài)分布，均值為0，方差為1

3.3 正則化

正則化的主要作用是防止過擬合，對(duì)模型添加正則化項(xiàng)可以限制模型的復(fù)雜度，使得模型在復(fù)雜度和性能達(dá)到平衡。

3.4 獨(dú)熱碼編碼 （one hot）

one hot編碼是將類別變量轉(zhuǎn)換為機(jī)器學(xué)習(xí)算法易于使用的一種形式的過程。one-hot通常用于特征的轉(zhuǎn)換

比如：一周七天，第三天可以編碼為 [0,0,1,0,0,00]

注：我把英語都補(bǔ)在了后面，并不是為了裝逼，只是為了下次看到這個(gè)單詞的時(shí)候知道這個(gè)單詞在表示什么。

4、數(shù)據(jù)處理庫

numpy ，pandas， matplotlib 這三個(gè)是數(shù)據(jù)分析常用的庫，也是深度學(xué)習(xí)中常用的三個(gè)庫

4.1 numpy

numpy 是優(yōu)化版的python的列表，提高了運(yùn)行效率，也提供了很多便利的函數(shù)，一般在使用的時(shí)候表示矩陣

numpy中的一個(gè)重要概念叫shape ,也就是表示維度

注：numpy 的api 我也使用不熟練，相信會(huì)在以后的學(xué)習(xí)過程中熟練的，使用的時(shí)候查一查，不用擔(dān)心。

4.2 pandas

Pandas 的主要數(shù)據(jù)結(jié)構(gòu)是 Series （一維數(shù)據(jù)）與 DataFrame（二維數(shù)據(jù)）.

[Series] 是一種類似于一維數(shù)組的對(duì)象，它由一組數(shù)據(jù)（各種Numpy數(shù)據(jù)類型）以及一組與之相關(guān)的數(shù)據(jù)標(biāo)簽（即索引）組成。

DataFrame 是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)，它含有一組有序的列，每列可以是不同的值類型（數(shù)值、字符串、布爾型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 組成的字典（共同用一個(gè)索引）。

注：pandas 可以當(dāng)做Excel使用，里面的api 我也使用不熟練，不用擔(dān)心，可以掃下核心概念就好

4.3 matplotlib

Matplotlib ?是畫圖用的，可以用來在學(xué)習(xí)的過程中對(duì)數(shù)據(jù)進(jìn)行可視化，我還沒有學(xué)習(xí)這個(gè)庫，只會(huì)照貓畫虎，所以放輕松，只是告訴你有這么個(gè)東西，不一定現(xiàn)在就要掌握

5、訓(xùn)練集、測試集，測試集

訓(xùn)練集：用來訓(xùn)練模型的數(shù)據(jù)，用來學(xué)習(xí)的

驗(yàn)證集：用來驗(yàn)證模型的數(shù)據(jù)，主要是看下模型的訓(xùn)練情況

測試集: 訓(xùn)練完成之后，驗(yàn)證模型的數(shù)據(jù)

一般數(shù)據(jù)的比例為6:2:2

一個(gè)形象的比喻：

訓(xùn)練集----學(xué)生的課本；學(xué)生 根據(jù)課本里的內(nèi)容來掌握知識(shí)。驗(yàn)證集----作業(yè)，通過作業(yè)可以知道 不同學(xué)生學(xué)習(xí)情況、進(jìn)步的速度快慢。測試集----考試，考的題是平常都沒有見過，考察學(xué)生舉一反三的能力。

5、損失函數(shù)

損失函數(shù)用來評(píng)價(jià)模型的預(yù)測值和真實(shí)值不一樣的程度，損失函數(shù)越好，通常模型的性能越好。不同的模型用的損失函數(shù)一般也不一樣.

注：f(x) 表示預(yù)測值，Y 表示真實(shí)值，

這些只是常用的損失函數(shù)，實(shí)現(xiàn)不同而已，在后面的開發(fā)理解各個(gè)函數(shù)就行了，API caller 不用理解具體的實(shí)現(xiàn)，就像你知道快速排序的算法原理，但是沒必要自己去實(shí)現(xiàn)，現(xiàn)成的實(shí)現(xiàn)拿來用不香嗎？

6、優(yōu)化器

優(yōu)化器就是在深度學(xué)習(xí)反向傳播過程中，指引損失函數(shù)（目標(biāo)函數(shù)）的各個(gè)參數(shù)往正確的方向更新合適的大小，使得更新后的各個(gè)參數(shù)讓損失函數(shù)（目標(biāo)函數(shù)）值不斷逼近全局最小。

常見的幾種優(yōu)化器

7、激活函數(shù)

激活函數(shù)就是對(duì)輸入進(jìn)行過濾，可以理解為一個(gè)過濾器

常見的非線性激活函數(shù)通?？梢苑譃閮深?，一種是輸入單個(gè)變量輸出單個(gè)變量，如sigmoid函數(shù)，Relu函數(shù)；還有一種是輸入多個(gè)變量輸出多個(gè)變量，如Softmax函數(shù)，Maxout函數(shù)。

• 對(duì)于二分類問題，在輸出層可以選擇 sigmoid 函數(shù)。

• 對(duì)于多分類問題，在輸出層可以選擇 softmax 函數(shù)。

• 由于梯度消失問題，盡量sigmoid函數(shù)和tanh的使用。

• tanh函數(shù)由于以0為中心，通常性能會(huì)比sigmoid函數(shù)好。

• ReLU函數(shù)是一個(gè)通用的函數(shù)，一般在隱藏層都可以考慮使用。

• 有時(shí)候要適當(dāng)對(duì)現(xiàn)有的激活函數(shù)稍作修改，以及考慮使用新發(fā)現(xiàn)的激活函數(shù)。

8、hello world

說了很多概念，搞個(gè)demo 看看，下面是一個(gè)最簡單的線性回歸的模型。

環(huán)境的安裝在文章的開頭。

import torch as timport torch.nn as nnimport torch.optim as optimimport matplotlib.pyplot as pltimport numpy as np# 學(xué)習(xí)率，也就是每次參數(shù)的移動(dòng)的大小lr = 0.01# 訓(xùn)練數(shù)據(jù)集的次數(shù)num_epochs = 100# 輸入?yún)?shù)的個(gè)數(shù)in_size = 1#輸出參數(shù)的個(gè)數(shù)out_size = 1# x 數(shù)據(jù)集x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],                    [9.779], [6.182], [7.59], [2.167], [7.042],                    [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)# y 對(duì)應(yīng)的真實(shí)值y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],                    [3.366], [2.596], [2.53], [1.221], [2.827],                    [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)# 線性回歸網(wǎng)絡(luò)class LinerRegression(nn.Module):    def __init__(self, in_size, out_size):        super(LinerRegression, self).__init__()        self.fc1 = nn.Linear(in_size, out_size)    def forward(self, x):        y_hat = self.fc1(x)        return y_hatmodel = LinerRegression(in_size, out_size)# 損失函數(shù)lossFunc = nn.MSELoss()# 優(yōu)化器optimizer = optim.SGD(model.parameters(), lr=lr)# 對(duì)數(shù)據(jù)集訓(xùn)練的循環(huán)次數(shù)for epoch in range(num_epochs):    x = t.from_numpy(x_train)    y = t.from_numpy(y_train)    y_hat = model(x)    loss = lossFunc(y_hat, y)    # 導(dǎo)數(shù)歸零    optimizer.zero_grad()    # 反向傳播，也就是修正參數(shù)，將參數(shù)往正確的方向修改    loss.backward()    optimizer.step()    print("[{}/{}] loss:{:.4f}".format(epoch+1, num_epochs, loss))# 畫圖看下最終的模型擬合的怎么樣y_pred = model(t.from_numpy(x_train)).detach().numpy()plt.plot(x_train, y_train, "ro", label="Original Data")plt.plot(x_train, y_pred, "b-", label="Fitted Line")plt.legend()plt.show()

上面是最簡單的一個(gè)線性回歸的神經(jīng)網(wǎng)絡(luò)，沒有隱藏層，沒有激活函數(shù)。

運(yùn)行很快，因?yàn)閰?shù)很少,運(yùn)行的最終結(jié)果可以看下，最終達(dá)到了我們的結(jié)果，你可以試著調(diào)整一些參數(shù)

9、總結(jié)

今天寫了很多的概念，不需要全部掌握，先混個(gè)臉熟，先有個(gè)全局觀，慢慢的認(rèn)識(shí)即可，里面的公式很多，不需要看懂，be easy.