資訊專欄INFORMATION COLUMN
摘要：首先，的概念與卷積的概念大部分是獨(dú)立的。但是，請(qǐng)注意，這個(gè)特征的較精確位置已經(jīng)被丟棄。結(jié)合和，這意味著我們的網(wǎng)絡(luò)使用的是不同于一般類型的非線性。之間的這就是網(wǎng)絡(luò)如此與眾不同的原因。與普通的層相比，層是完全不同的。
首先，capsule 的概念與卷積的概念大部分是獨(dú)立的。例如，你可以有一個(gè)完全連接的capsule網(wǎng)絡(luò)。但是，它們確實(shí)使用了卷積，而且也被與CNN進(jìn)行比較。但是，我將在接下來解釋中抽象出卷積，因?yàn)檫@會(huì)分散我們的核心思想。
因?yàn)閏apsule網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比是如此的不同，以至于很難理解它們之間的差異。在這里我將詳細(xì)介紹capsule網(wǎng)絡(luò)的細(xì)節(jié)，然后總結(jié)一下不同之處。
簡(jiǎn)單描述capsule網(wǎng)絡(luò)
首先，我們可以看看capsule的動(dòng)機(jī)（從Hinton的談話中摘出來的）。CNN的過濾器所做的就是檢測(cè)源圖像中是否存在特定的模式/特性。 我們通常希望并行地在源圖像的同一個(gè)patch上堆疊多個(gè)過濾器，這樣就可以在同一個(gè)patch檢測(cè)多個(gè)特征。
但是，請(qǐng)注意，由于堆疊的過濾器數(shù)量的線性因子，這個(gè)維度會(huì)增加很多。為了減少網(wǎng)絡(luò)的維度，同時(shí)允許使用更多的過濾器，我們可以應(yīng)用max-pooling，這樣就可以得到一個(gè)神經(jīng)元，它在語義上的意思是“這個(gè)區(qū)域某處有一個(gè)特征X。”但是，請(qǐng)注意，這個(gè)特征的較精確位置已經(jīng)被丟棄。在許多層重復(fù)這個(gè)操作，我們實(shí)際上丟失了許多關(guān)于特征較精確位置的信息。
另一個(gè)稍微切向的動(dòng)機(jī)是：如果一個(gè)人被展示一個(gè)鼻子，它就可以對(duì)眼睛、嘴、耳朵等部位的大約位置進(jìn)行反向工程，從而預(yù)測(cè)整個(gè)臉部的位置和方向。如果我們看到一個(gè)鼻子，并預(yù)測(cè)了臉部的位置；但是假如看到一個(gè)嘴巴，基于它預(yù)測(cè)的臉部位置就會(huì)稍微不同，看起來會(huì)很奇怪。如果我們僅僅使用1/0來檢測(cè)特征(鼻子，嘴巴)的存在，我們可能會(huì)被引導(dǎo)去相信這兩者在正確位置的組合就可以預(yù)測(cè)出一張臉。但實(shí)際不是這樣，我們也需要知道它們的方向。
想法：在檢測(cè)特性的基礎(chǔ)上，我們可以輸出額外的2個(gè)值，對(duì)應(yīng)該特性被檢測(cè)到的X和Y位置。但是方向呢？我們需要一種更通用的方式來封裝這些信息。一個(gè)更好的想法是：我們可以讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一種方法來表示這個(gè)位置/方向信息本身！這就是capsule網(wǎng)絡(luò)的由來。
差異
1）標(biāo)量vs向量的輸入和輸出
神經(jīng)元從上一層接收一堆標(biāo)量，并輸出一個(gè)標(biāo)量。一個(gè)capsule是從上一層獲取一堆向量，并輸出一個(gè)向量。
如果你仔細(xì)閱讀了，你可能已經(jīng)注意到(1)實(shí)際上并沒有完全改變網(wǎng)絡(luò)。假設(shè)我被允許任意地將前一層的神經(jīng)元組合在一起，將來自當(dāng)前層的神經(jīng)元組合在一起，將它們稱為向量，并沒有什么區(qū)別。這里，我們將輸入設(shè)為向量，對(duì)它應(yīng)用一個(gè)矩陣（matrix），然后做一個(gè)加權(quán)和。這與簡(jiǎn)單地將輸入激活作為一個(gè)巨大的向量，然后再應(yīng)用一個(gè)更大的矩陣相比，沒有什么不同。
2）擠壓函數(shù)
引入擠壓函數(shù)（squash function）是真正的區(qū)別。但現(xiàn)在，仍然是一個(gè)任意非線性。你可以想象一個(gè)奇怪的網(wǎng)絡(luò)，它在兩個(gè)層之間變換，一個(gè)變換向量，另一個(gè)對(duì)這些向量做加權(quán)和（這實(shí)際上是另一個(gè)線性變換！），然后擠壓。結(jié)合(1)和(2)，這意味著我們的網(wǎng)絡(luò)使用的是不同于一般類型的非線性。
3）capsule之間的routing
這就是capsule網(wǎng)絡(luò)如此與眾不同的原因。與普通的層相比，capsule層是完全不同的。首先，我們轉(zhuǎn)換輸入向量來得到預(yù)測(cè)向量。然后我們將children capsule分配給parent capsule，它的總預(yù)測(cè)向量與它自己的預(yù)測(cè)向量有很大的一致，從而可以對(duì)預(yù)測(cè)向量進(jìn)行加權(quán)和。然后把它拿出來，進(jìn)行擠壓（squash）。
Reddit上的討論鏈接：https://www.reddit.com/r/MachineLearning/comments/7bz5x9/d_eli5_capsule_networks_how_are_they_unique_and/
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/4679.html
摘要：本文試圖揭開讓人迷惘的云霧，領(lǐng)悟背后的原理和魅力，品嘗這一頓盛宴。當(dāng)然，激活函數(shù)本身很簡(jiǎn)單，比如一個(gè)激活的全連接層，用寫起來就是可是，如果我想用的反函數(shù)來激活呢也就是說，你得給我解出，然后再用它來做激活函數(shù)。 由深度學(xué)習(xí)先驅(qū) Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學(xué)習(xí)界最熱點(diǎn)的消息之一。得益于各種媒體的各種...
摘要：近幾年以卷積神經(jīng)網(wǎng)絡(luò)有什么問題為主題做了多場(chǎng)報(bào)道，提出了他的計(jì)劃。最初提出就成為了人工智能火熱的研究方向。展現(xiàn)了和玻爾茲曼分布間驚人的聯(lián)系其在論文中多次稱，其背后的內(nèi)涵引人遐想。 Hinton 以深度學(xué)習(xí)之父 和 神經(jīng)網(wǎng)絡(luò)先驅(qū) 聞名于世，其對(duì)深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)的諸多核心算法和結(jié)構(gòu)（包括深度學(xué)習(xí)這個(gè)名稱本身，反向傳播算法，受限玻爾茲曼機(jī)，深度置信網(wǎng)絡(luò)，對(duì)比散度算法，ReLU激活單元，Dropo...
摘要：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的問題到目前為止，圖像分類問題上較先進(jìn)的方法是。我們把卡戴珊姐姐旋轉(zhuǎn)出現(xiàn)這個(gè)問題的原因，用行話來說是旋轉(zhuǎn)的程度超出了較大池化所帶來的旋轉(zhuǎn)不變性的限度。 Capsule Networks，或者說CapsNet，這個(gè)名字你應(yīng)該已經(jīng)聽過好幾次了。這是深度學(xué)習(xí)之父的Geoffrey Hinton近幾年一直在探索的領(lǐng)域，被視為突破性的新概念。最近，關(guān)于Capsule的論文終于公布了。一篇即...
摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對(duì)膠囊的表現(xiàn)進(jìn)行了討論。他們認(rèn)為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對(duì)圖像變換的健壯性，在圖像分割中也會(huì)有出色的表現(xiàn)。 背景目前的神經(jīng)網(wǎng)絡(luò)中，每一層的神經(jīng)元都做的是類似的事情，比如一個(gè)卷積層內(nèi)的每個(gè)神經(jīng)元都做的是一樣的卷積操作。而Hinton堅(jiān)信，不同的神經(jīng)元完全可以關(guān)注不同的實(shí)體或者屬性，比如在一開始就有不同的神...
摘要：近幾年，深度學(xué)習(xí)高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。是由深度學(xué)習(xí)先驅(qū)等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機(jī)制。當(dāng)多個(gè)預(yù)測(cè)一致時(shí)本論文使用動(dòng)態(tài)路由使預(yù)測(cè)一致，更高級(jí)別的將變得活躍。 近幾年，深度學(xué)習(xí)高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。在這篇文章中，香港科技大學(xué)（HKUST）助理教授金成勳總結(jié)了深度網(wǎng)絡(luò)類型之間...
閱讀 3901·2021-11-24 10:46
閱讀 1861·2021-11-15 11:38
閱讀 3934·2021-11-15 11:37
閱讀 3905·2021-10-27 14:19
閱讀 2120·2021-09-03 10:36
閱讀 2135·2021-08-16 11:02
閱讀 3134·2019-08-30 15:55
閱讀 2409·2019-08-30 15:44
