摘要：近幾年，深度學(xué)習(xí)高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無(wú)法理清網(wǎng)絡(luò)類型之間的關(guān)系。是由深度學(xué)習(xí)先驅(qū)等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機(jī)制。當(dāng)多個(gè)預(yù)測(cè)一致時(shí)本論文使用動(dòng)態(tài)路由使預(yù)測(cè)一致，更高級(jí)別的將變得活躍。

近幾年，深度學(xué)習(xí)高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無(wú)法理清網(wǎng)絡(luò)類型之間的關(guān)系。在這篇文章中，香港科技大學(xué)（HKUST）助理教授金成勳總結(jié)了深度網(wǎng)絡(luò)類型之間的譜系圖，以便于我們索引不同類型網(wǎng)絡(luò)的杰出研究成果。

金成勳在 GitHub 上梳理出的譜系圖如下（點(diǎn)擊圖片放大查看），最后的藍(lán)色字體部分是各分支內(nèi)的杰出研究成果（附所有論文鏈接）。機(jī)器之心在此基礎(chǔ)上對(duì)各個(gè)分支網(wǎng)絡(luò)做了介紹、補(bǔ)充，希望對(duì)讀者了解網(wǎng)絡(luò)體系間的關(guān)聯(lián)有所幫助。如有缺陷，歡迎大家留言補(bǔ)充。

Github 項(xiàng)目地址：https://github.com//hunkim/deep_architecture_genealogy

完整圖

記憶網(wǎng)絡(luò)

在記憶網(wǎng)絡(luò)分支中，hunkim 標(biāo)注了三篇重要論文：《記憶網(wǎng)絡(luò)》、《端到端記憶網(wǎng)絡(luò)》、《DMN：動(dòng)態(tài)記憶網(wǎng)絡(luò)》。神經(jīng)編程是記憶網(wǎng)絡(luò)的下一級(jí)分支，包含神經(jīng)圖靈機(jī)、混合計(jì)算等論文。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

如下所示，CNN 除了包含執(zhí)行目標(biāo)識(shí)別任務(wù)的 AlexNet 等深度卷積網(wǎng)絡(luò)，還包括很多優(yōu)秀的模型用于處理目標(biāo)檢測(cè)、語(yǔ)義分割和超分辨率等任務(wù)。它們以不同的方式應(yīng)用卷積過(guò)程處理不同的任務(wù)，并在這些任務(wù)上產(chǎn)生了非常好的效果。從基本上來(lái)說(shuō)，卷積相對(duì)于最初的全連接網(wǎng)絡(luò)有很多優(yōu)秀的屬性，例如它只和上一層神經(jīng)元產(chǎn)生部分的連接，同一個(gè)卷積核可以在輸入張量上重復(fù)使用，也就是說(shuō)特征檢測(cè)器可以在輸入圖像上重復(fù)檢測(cè)是否有該局部特征。這是卷積網(wǎng)絡(luò)十分優(yōu)秀的屬性，它大大減少了兩層間參數(shù)的數(shù)量。

基于這些基礎(chǔ)的卷積特性，我們可以構(gòu)建不同的卷積模型處理不同的任務(wù)。以下是卷積網(wǎng)絡(luò)的主要模型與領(lǐng)域：

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network）是深度學(xué)習(xí)的重要組成部分，它可以讓神經(jīng)網(wǎng)絡(luò)處理諸如文本、音頻和視頻等序列數(shù)據(jù)。它們可用來(lái)做序列的高層語(yǔ)義理解、序列標(biāo)記，甚至可以從一個(gè)片段生產(chǎn)新的序列。目前有很多人工智能應(yīng)用都依賴于循環(huán)深度神經(jīng)網(wǎng)絡(luò)，在谷歌（語(yǔ)音搜索）、百度（DeepSpeech）和亞馬遜的產(chǎn)品中都能看到 RNN 的身影。

基本的 RNN 結(jié)構(gòu)難以處理長(zhǎng)序列，然而一種特殊的 RNN 變種即「長(zhǎng)短時(shí)記憶（LSTM）」網(wǎng)絡(luò)可以很好地處理長(zhǎng)序列問(wèn)題。這種模型能力強(qiáng)大，在翻譯、語(yǔ)音識(shí)別和圖像描述等眾多任務(wù)中均取得里程碑式的效果。因而，循環(huán)神經(jīng)網(wǎng)絡(luò)在最近幾年得到了廣泛使用。

Capsule Net

Capsule 是由深度學(xué)習(xí)先驅(qū) Geoffrey Hinton 等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機(jī)制。在 Dynamic Routing Between Capsules 論文中，Geoffrey Hinton 這樣介紹 Capsule：「Capsule 是一組神經(jīng)元，其輸入輸出向量表示特定實(shí)體類型的實(shí)例化參數(shù)（即特定物體、概念實(shí)體等出現(xiàn)的概率與某些屬性）。我們使用輸入輸出向量的長(zhǎng)度表征實(shí)體存在的概率，向量的方向表示實(shí)例化參數(shù)（即實(shí)體的某些圖形屬性）。同一層級(jí)的 capsule 通過(guò)變換矩陣對(duì)更高級(jí)別的 capsule 的實(shí)例化參數(shù)進(jìn)行預(yù)測(cè)。當(dāng)多個(gè)預(yù)測(cè)一致時(shí)（本論文使用動(dòng)態(tài)路由使預(yù)測(cè)一致），更高級(jí)別的 capsule 將變得活躍?！?/p>

Capsule 中神經(jīng)元的激活情況表示了圖像中存在的特定實(shí)體的各種性質(zhì)。這些性質(zhì)可以包含多種不同的參數(shù)，例如姿勢(shì)（位置、大小、方向）、變形、速度、反射率、色彩、紋理等。而輸入輸出向量的長(zhǎng)度表示了某個(gè)實(shí)體出現(xiàn)的概率，所以它的值必須在 0 到 1 之間。

機(jī)器之心也詳細(xì)解讀了上周 Hinton 公開的論文，這篇論文的亮點(diǎn)在于 Capsule 層的輸入與輸出都是向量，構(gòu)建向量的過(guò)程可以認(rèn)為是 PrimaryCaps 層利用 8 個(gè)標(biāo)準(zhǔn)的 Conv2D 操作產(chǎn)生一個(gè)長(zhǎng)度為 8 個(gè)元素的向量，因此每一個(gè) Capsule 單元就相當(dāng)于 8 個(gè)卷積單元的組合。此外，在 Capsule 層中，Hinton 等人還使用了動(dòng)態(tài)路由機(jī)制，這種更新耦合系數(shù)（coupling coef?cients）的方法并不需要使用反向傳播機(jī)制。

除了 Hinton 等人公布的 Capsule 論文以外，近日還有一篇 MATRIX CAPSULES WITH EM ROUTING 論文，該論文采用 EM Routing 修正原論文的 dynamic routing 從而實(shí)現(xiàn)更好的效果。

生成模型

人工智能研究的較大難題之一是無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning），而面向無(wú)監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)方法以學(xué)習(xí)表征（learning representation）問(wèn)題為核心，不同的算法都會(huì)定義一個(gè)目標(biāo)函數(shù)，該目標(biāo)函數(shù)可以讓該學(xué)習(xí)器獲取到其數(shù)據(jù)表征的關(guān)鍵方面以及一個(gè)可以表征數(shù)據(jù)的新空間。深度生成模型可以通過(guò)生成全新的樣本來(lái)演示其對(duì)于數(shù)據(jù)的理解，盡管這些生成的樣本非常類似于那些訓(xùn)練樣本。許多這樣的模型和之前的自編碼器的思想有關(guān)，其有一個(gè)編碼器函數(shù)將數(shù)據(jù)映射到表征，還有一個(gè)解碼器函數(shù)（或生成器）將該抽象的表征映射到原始數(shù)據(jù)空間。此外，生成模型很多也應(yīng)用到了 GAN 的思想，即通過(guò)判別器與生成器之間的對(duì)抗促使生成器生成非常真實(shí)的圖像。

在變分自編碼器中，我們需要通過(guò)樣本訓(xùn)練一個(gè)編碼器和解碼器，在這過(guò)程中我們能得到中間的隱藏變量。若我們需要生成新的圖像，那么只需要在隱藏變量采樣并投入解碼器就能完成生成。而在生成對(duì)抗網(wǎng)絡(luò)中，我們會(huì)定義一個(gè)判別模型與生成模型。首先我們會(huì)將生成的樣本混合真實(shí)樣本投遞給判別模型以訓(xùn)練其鑒別真假的能力，隨后再固定判別模型并訓(xùn)練生成模型，以生成更真實(shí)的圖像。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754