摘要：要學(xué)習(xí)深度學(xué)習(xí)，那么首先要熟悉神經(jīng)網(wǎng)絡(luò)，簡稱的一些基本概念。網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，它使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù)，而輸出層則是對(duì)隱層神經(jīng)元輸出的線性組合。

閱讀目錄

1. 神經(jīng)元模型

2. 感知機(jī)和神經(jīng)網(wǎng)絡(luò)

3. 誤差逆?zhèn)鞑ニ惴?/p>

4. 常見的神經(jīng)網(wǎng)絡(luò)模型

5. 深度學(xué)習(xí)

6. 參考內(nèi)容

目前，深度學(xué)習(xí)（Deep Learning，簡稱DL）在算法領(lǐng)域可謂是大紅大紫，現(xiàn)在不只是互聯(lián)網(wǎng)、人工智能，生活中的各大領(lǐng)域都能反映出深度學(xué)習(xí)引領(lǐng)的巨大變革。要學(xué)習(xí)深度學(xué)習(xí)，那么首先要熟悉神經(jīng)網(wǎng)絡(luò)（Neural Networks，簡稱NN）的一些基本概念。當(dāng)然，這里所說的神經(jīng)網(wǎng)絡(luò)不是生物學(xué)的神經(jīng)網(wǎng)絡(luò)，我們將其稱之為人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱ANN）貌似更為合理。神經(jīng)網(wǎng)絡(luò)最早是人工智能領(lǐng)域的一種算法或者說是模型，目前神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成為一類多學(xué)科交叉的學(xué)科領(lǐng)域，它也隨著深度學(xué)習(xí)取得的進(jìn)展重新受到重視和推崇。

為什么說是“重新”呢？其實(shí)，神經(jīng)網(wǎng)絡(luò)更為一種算法模型很早就已經(jīng)開始研究了，但是在取得一些進(jìn)展后，神經(jīng)網(wǎng)絡(luò)的研究陷入了一段很長時(shí)間的低潮期，后來隨著Hinton在深度學(xué)習(xí)上取得的進(jìn)展，神經(jīng)網(wǎng)絡(luò)又再次受到人們的重視。本文就以神經(jīng)網(wǎng)絡(luò)為主，著重總結(jié)一些相關(guān)的基礎(chǔ)知識(shí)，然后在此基礎(chǔ)上引出深度學(xué)習(xí)的概念，如有書寫不當(dāng)?shù)牡胤?，還請(qǐng)大家評(píng)批指正。

1. 神經(jīng)元模型

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中最基本的結(jié)構(gòu)，也可以說是神經(jīng)網(wǎng)絡(luò)的基本單元，它的設(shè)計(jì)靈感完全來源于生物學(xué)上神經(jīng)元的信息傳播機(jī)制。我們學(xué)過生物的同學(xué)都知道，神經(jīng)元有兩種狀態(tài)：興奮和抑制。一般情況下，大多數(shù)的神經(jīng)元是處于抑制狀態(tài)，但是一旦某個(gè)神經(jīng)元收到刺激，導(dǎo)致它的電位超過一個(gè)閾值，那么這個(gè)神經(jīng)元就會(huì)被激活，處于“興奮”狀態(tài)，進(jìn)而向其他的神經(jīng)元傳播化學(xué)物質(zhì)（其實(shí)就是信息）。

下圖為生物學(xué)上的神經(jīng)元結(jié)構(gòu)示意圖：

1943年，McCulloch和Pitts將上圖的神經(jīng)元結(jié)構(gòu)用一種簡單的模型進(jìn)行了表示，構(gòu)成了一種人工神經(jīng)元模型，也就是我們現(xiàn)在經(jīng)常用到的“M-P神經(jīng)元模型”，如下圖所示：

從上圖M-P神經(jīng)元模型可以看出，神經(jīng)元的輸出

其中θ為我們之前提到的神經(jīng)元的激活閾值，函數(shù)f(?)也被稱為是激活函數(shù)。如上圖所示，函數(shù)f(?)可以用一個(gè)階躍方程表示，大于閾值激活；否則則抑制。但是這樣有點(diǎn)太粗暴，因?yàn)殡A躍函數(shù)不光滑，不連續(xù)，不可導(dǎo)，因此我們更常用的方法是用sigmoid函數(shù)來表示函數(shù)函數(shù)f(?)。

sigmoid函數(shù)的表達(dá)式和分布圖如下所示：

2. 感知機(jī)和神經(jīng)網(wǎng)絡(luò)

感知機(jī)（perceptron）是由兩層神經(jīng)元組成的結(jié)構(gòu)，輸入層用于接受外界輸入信號(hào)，輸出層（也被稱為是感知機(jī)的功能層）就是M-P神經(jīng)元。下圖表示了一個(gè)輸入層具有三個(gè)神經(jīng)元（分別表示為x0、x1、x2）的感知機(jī)結(jié)構(gòu)：

根據(jù)上圖不難理解，感知機(jī)模型可以由如下公式表示：

? ? ? ? ? ? ? ? ? ? ? ? y=f(wx+b)

其中，w為感知機(jī)輸入層到輸出層連接的權(quán)重，b表示輸出層的偏置。事實(shí)上，感知機(jī)是一種判別式的線性分類模型，可以解決與、或、非這樣的簡單的線性可分（linearly separable）問題，線性可分問題的示意圖見下圖：

但是由于它只有一層功能神經(jīng)元，所以學(xué)習(xí)能力非常有限。事實(shí)證明，單層感知機(jī)無法解決最簡單的非線性可分問題——異或問題。

關(guān)于感知機(jī)解決異或問題還有一段歷史值得我們簡單去了解一下：感知器只能做簡單的線性分類任務(wù)。但是當(dāng)時(shí)的人們熱情太過于高漲，并沒有人清醒的認(rèn)識(shí)到這點(diǎn)。于是，當(dāng)人工智能領(lǐng)域的巨擘Minsky指出這點(diǎn)時(shí)，事態(tài)就發(fā)生了變化。Minsky在1969年出版了一本叫《Perceptron》的書，里面用詳細(xì)的數(shù)學(xué)證明了感知器的弱點(diǎn)，尤其是感知器對(duì)XOR（異或）這樣的簡單分類任務(wù)都無法解決。Minsky認(rèn)為，如果將計(jì)算層增加到兩層，計(jì)算量則過大，而且沒有有效的學(xué)習(xí)算法。所以，他認(rèn)為研究更深層的網(wǎng)絡(luò)是沒有價(jià)值的。由于Minsky的巨大影響力以及書中呈現(xiàn)的悲觀態(tài)度，讓很多學(xué)者和實(shí)驗(yàn)室紛紛放棄了神經(jīng)網(wǎng)絡(luò)的研究。神經(jīng)網(wǎng)絡(luò)的研究陷入了冰河期。這個(gè)時(shí)期又被稱為“AI winter”。接近10年以后，對(duì)于兩層神經(jīng)網(wǎng)絡(luò)的研究才帶來神經(jīng)網(wǎng)絡(luò)的復(fù)蘇。

我們知道，我們?nèi)粘Ｉ钪泻芏鄦栴}，甚至說大多數(shù)問題都不是線性可分問題，那我們要解決非線性可分問題該怎樣處理呢？這就是這部分我們要引出的“多層”的概念。既然單層感知機(jī)解決不了非線性問題，那我們就采用多層感知機(jī)，下圖就是一個(gè)兩層感知機(jī)解決異或問題的示意圖：

構(gòu)建好上述網(wǎng)絡(luò)以后，通過訓(xùn)練得到最后的分類面如下：

由此可見，多層感知機(jī)可以很好的解決非線性可分問題，我們通常將多層感知機(jī)這樣的多層結(jié)構(gòu)稱之為是神經(jīng)網(wǎng)絡(luò)。但是，正如Minsky之前所擔(dān)心的，多層感知機(jī)雖然可以在理論上可以解決非線性問題，但是實(shí)際生活中問題的復(fù)雜性要遠(yuǎn)不止異或問題這么簡單，所以我們往往要構(gòu)建多層網(wǎng)絡(luò)，而對(duì)于多層神經(jīng)網(wǎng)絡(luò)采用什么樣的學(xué)習(xí)算法又是一項(xiàng)巨大的挑戰(zhàn)，如下圖所示的具有4層隱含層的網(wǎng)絡(luò)結(jié)構(gòu)中至少有33個(gè)參數(shù)（不計(jì)偏置bias參數(shù)），我們應(yīng)該如何去確定呢？

3. 誤差逆?zhèn)鞑ニ惴?/p>

所謂神經(jīng)網(wǎng)絡(luò)的訓(xùn)練或者是學(xué)習(xí)，其主要目的在于通過學(xué)習(xí)算法得到神經(jīng)網(wǎng)絡(luò)解決指定問題所需的參數(shù)，這里的參數(shù)包括各層神經(jīng)元之間的連接權(quán)重以及偏置等。因?yàn)樽鳛樗惴ǖ脑O(shè)計(jì)者（我們），我們通常是根據(jù)實(shí)際問題來構(gòu)造出網(wǎng)絡(luò)結(jié)構(gòu)，參數(shù)的確定則需要神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練樣本和學(xué)習(xí)算法來迭代找到最優(yōu)參數(shù)組。

說起神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，不得不提其中最杰出、最成功的代表——誤差逆?zhèn)鞑ィ╡rror BackPropagation，簡稱BP）算法。BP學(xué)習(xí)算法通常用在更為廣泛使用的多層前饋神經(jīng)網(wǎng)絡(luò)中。

4. 常見的神經(jīng)網(wǎng)絡(luò)模型

4.1 Boltzmann機(jī)和受限Boltzmann機(jī)

神經(jīng)網(wǎng)絡(luò)中有一類模型是為網(wǎng)絡(luò)狀態(tài)定義一個(gè)“能量”，能量最小化時(shí)網(wǎng)絡(luò)達(dá)到理想狀態(tài)，而網(wǎng)絡(luò)的訓(xùn)練就是在最小化這個(gè)能量函數(shù)。Boltzmann（玻爾茲曼）機(jī)就是基于能量的模型，其神經(jīng)元分為兩層：顯層和隱層。顯層用于表示數(shù)據(jù)的輸入和輸出，隱層則被理解為數(shù)據(jù)的內(nèi)在表達(dá)。Boltzmann機(jī)的神經(jīng)元都是布爾型的，即只能取0、1值。標(biāo)準(zhǔn)的Boltzmann機(jī)是全連接的，也就是說各層內(nèi)的神經(jīng)元都是相互連接的，因此計(jì)算復(fù)雜度很高，而且難以用來解決實(shí)際問題。因此，我們經(jīng)常使用一種特殊的Boltzmann機(jī)——受限玻爾茲曼機(jī)（Restricted Boltzmann Mechine，簡稱RBM），它層內(nèi)無連接，層間有連接，可以看做是一個(gè)二部圖。下圖為Boltzmann機(jī)和RBM的結(jié)構(gòu)示意圖：

RBM常常用對(duì)比散度（Constrastive Divergence，簡稱CD）來進(jìn)行訓(xùn)練。

4.2 RBF網(wǎng)絡(luò)

RBF（Radial Basis Function）徑向基函數(shù)網(wǎng)絡(luò)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，它使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù)，而輸出層則是對(duì)隱層神經(jīng)元輸出的線性組合。下圖為一個(gè)RBF神經(jīng)網(wǎng)絡(luò)示意圖：

訓(xùn)練RBF網(wǎng)絡(luò)通常采用兩步：

1> 確定神經(jīng)元中心，常用的方式包括隨機(jī)采樣，聚類等；

2> 確定神經(jīng)網(wǎng)絡(luò)參數(shù)，常用算法為BP算法。

4.3 ART網(wǎng)絡(luò)

ART（Adaptive Resonance Theory）自適應(yīng)諧振理論網(wǎng)絡(luò)是競(jìng)爭型學(xué)習(xí)的重要代表，該網(wǎng)絡(luò)由比較層、識(shí)別層、識(shí)別層閾值和重置模塊構(gòu)成。ART比較好的緩解了競(jìng)爭型學(xué)習(xí)中的“可塑性-穩(wěn)定性窘境”（stability-plasticity dilemma），可塑性是指神經(jīng)網(wǎng)絡(luò)要有學(xué)習(xí)新知識(shí)的能力，而穩(wěn)定性則指的是神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新知識(shí)時(shí)要保持對(duì)舊知識(shí)的記憶。這就使得ART網(wǎng)絡(luò)具有一個(gè)很重要的優(yōu)點(diǎn)：可進(jìn)行增量學(xué)習(xí)或在線學(xué)習(xí)。

4.4 SOM網(wǎng)絡(luò)

SOM（Self-Organizing Map，自組織映射）網(wǎng)絡(luò)是一種競(jìng)爭學(xué)習(xí)型的無監(jiān)督神經(jīng)網(wǎng)絡(luò)，它能將高維輸入數(shù)據(jù)映射到低維空間（通常為二維），同事保持輸入數(shù)據(jù)在高維空間的拓?fù)浣Y(jié)構(gòu)，即將高維空間中相似的樣本點(diǎn)映射到網(wǎng)絡(luò)輸出層中的臨近神經(jīng)元。下圖為SOM網(wǎng)絡(luò)的結(jié)構(gòu)示意圖：

4.5 結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)

我們前面提到過，一般的神經(jīng)網(wǎng)絡(luò)都是先指定好網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練的目的是利用訓(xùn)練樣本來確定合適的連接權(quán)、閾值等參數(shù)。與此不同的是，結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)則將網(wǎng)絡(luò)結(jié)構(gòu)也當(dāng)做學(xué)習(xí)的目標(biāo)之一，并希望在訓(xùn)練過程中找到最符合數(shù)據(jù)特點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)。

4.6 遞歸神經(jīng)網(wǎng)絡(luò)以及Elman網(wǎng)絡(luò)

與前饋神經(jīng)網(wǎng)絡(luò)不同，遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，簡稱RNN）允許網(wǎng)絡(luò)中出現(xiàn)環(huán)形結(jié)構(gòu)，從而可以讓一些神經(jīng)元的輸出反饋回來作為輸入信號(hào)，這樣的結(jié)構(gòu)與信息反饋過程，使得網(wǎng)絡(luò)在tt時(shí)刻的輸出狀態(tài)不僅與tt時(shí)刻的輸入有關(guān)，還與t?1時(shí)刻的網(wǎng)絡(luò)狀態(tài)有關(guān)，從而能處理與時(shí)間有關(guān)的動(dòng)態(tài)變化。

Elman網(wǎng)絡(luò)是最常用的遞歸神經(jīng)網(wǎng)絡(luò)之一，其結(jié)構(gòu)如下圖所示：

RNN一般的訓(xùn)練算法采用推廣的BP算法。值得一提的是，RNN在（t+1）時(shí)刻網(wǎng)絡(luò)的結(jié)果O(t+1)是該時(shí)刻輸入和所有歷史共同作用的結(jié)果，這樣就達(dá)到了對(duì)時(shí)間序列建模的目的。因此，從某種意義上來講，RNN被視為是時(shí)間深度上的深度學(xué)習(xí)也未嘗不對(duì)。

RNN在（t+1）時(shí)刻網(wǎng)絡(luò)的結(jié)果O(t+1)是該時(shí)刻輸入和所有歷史共同作用的結(jié)果，這么講其實(shí)也不是很準(zhǔn)確，因?yàn)椤疤荻劝l(fā)散”同樣也會(huì)發(fā)生在時(shí)間軸上，也就是說對(duì)于t時(shí)刻來說，它產(chǎn)生的梯度在時(shí)間軸上向歷史傳播幾層之后就消失了，根本無法影響太遙遠(yuǎn)的過去。因此，“所有的歷史”只是理想的情況。在實(shí)際中，這種影響也就只能維持若干個(gè)時(shí)間戳而已。換句話說，后面時(shí)間步的錯(cuò)誤信號(hào)，往往并不能回到足夠遠(yuǎn)的過去，像更早的時(shí)間步一樣，去影響網(wǎng)絡(luò)，這使它很難以學(xué)習(xí)遠(yuǎn)距離的影響。

為了解決上述時(shí)間軸上的梯度發(fā)散，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展出了長短時(shí)記憶單元（Long-Short Term Memory，簡稱LSTM），通過門的開關(guān)實(shí)現(xiàn)時(shí)間上的記憶功能，并防止梯度發(fā)散。其實(shí)除了學(xué)習(xí)歷史信息，RNN和LSTM還可以被設(shè)計(jì)成為雙向結(jié)構(gòu)，即雙向RNN、雙向LSTM，同時(shí)利用歷史和未來的信息。

5. 深度學(xué)習(xí)

深度學(xué)習(xí)指的是深度神經(jīng)網(wǎng)絡(luò)模型，一般指網(wǎng)絡(luò)層數(shù)在三層或者三層以上的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

理論上而言，參數(shù)越多的模型復(fù)雜度越高，“容量”也就越大，也就意味著它能完成更復(fù)雜的學(xué)習(xí)任務(wù)。就像前面多層感知機(jī)帶給我們的啟示一樣，神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的刻畫能力。但是在一般情況下，復(fù)雜模型的訓(xùn)練效率低，易陷入過擬合，因此難以受到人們的青睞。具體來講就是，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，優(yōu)化函數(shù)越來越容易陷入局部最優(yōu)解（即過擬合，在訓(xùn)練樣本上有很好的擬合效果，但是在測(cè)試集上效果很差）。同時(shí)，不可忽略的一個(gè)問題是隨著網(wǎng)絡(luò)層數(shù)增加，“梯度消失”（或者說是梯度發(fā)散diverge）現(xiàn)象更加嚴(yán)重。我們經(jīng)常使用sigmoid函數(shù)作為隱含層的功能神經(jīng)元，對(duì)于幅度為1的信號(hào)，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本接收不到有效的訓(xùn)練信號(hào)。

為了解決深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，一種有效的手段是采取無監(jiān)督逐層訓(xùn)練（unsupervised layer-wise training），其基本思想是每次訓(xùn)練一層隱節(jié)點(diǎn)，訓(xùn)練時(shí)將上一層隱節(jié)點(diǎn)的輸出作為輸入，而本層隱節(jié)點(diǎn)的輸出作為下一層隱節(jié)點(diǎn)的輸入，這被稱之為“預(yù)訓(xùn)練”（pre-training）；在預(yù)訓(xùn)練完成后，再對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)”（fine-tunning）訓(xùn)練。比如Hinton在深度信念網(wǎng)絡(luò)（Deep Belief Networks，簡稱DBN）中，每層都是一個(gè)RBM，即整個(gè)網(wǎng)絡(luò)可以被視為是若干個(gè)RBM堆疊而成。在使用無監(jiān)督訓(xùn)練時(shí)，首先訓(xùn)練第一層，這是關(guān)于訓(xùn)練樣本的RBM模型，可按標(biāo)準(zhǔn)的RBM進(jìn)行訓(xùn)練；然后，將第一層預(yù)訓(xùn)練號(hào)的隱節(jié)點(diǎn)視為第二層的輸入節(jié)點(diǎn)，對(duì)第二層進(jìn)行預(yù)訓(xùn)練；... 各層預(yù)訓(xùn)練完成后，再利用BP算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

事實(shí)上，“預(yù)訓(xùn)練+微調(diào)”的訓(xùn)練方式可被視為是將大量參數(shù)分組，對(duì)每組先找到局部看起來較好的設(shè)置，然后再基于這些局部較優(yōu)的結(jié)果聯(lián)合起來進(jìn)行全局尋優(yōu)。這樣就在利用了模型大量參數(shù)所提供的自由度的同時(shí)，有效地節(jié)省了訓(xùn)練開銷。

另一種節(jié)省訓(xùn)練開銷的做法是進(jìn)行“權(quán)共享”（weight sharing），即讓一組神經(jīng)元使用相同的連接權(quán)，這個(gè)策略在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）中發(fā)揮了重要作用。下圖為一個(gè)CNN網(wǎng)絡(luò)示意圖：

CNN可以用BP算法進(jìn)行訓(xùn)練，但是在訓(xùn)練中，無論是卷積層還是采樣層，其每組神經(jīng)元（即上圖中的每一個(gè)“平面”）都是用相同的連接權(quán)，從而大幅減少了需要訓(xùn)練的參數(shù)數(shù)目。

6. 參考內(nèi)容

1. 周志華《機(jī)器學(xué)習(xí)》

2. 知乎問答：http://www.zhihu.com/question/34681168

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754