摘要：反向傳播提供了一個(gè)機(jī)器學(xué)習(xí)答案，然而就像下一段討論的那樣，它并非生物學(xué)上可信的。尋找一個(gè)生物學(xué)上可信的機(jī)器學(xué)習(xí)方法進(jìn)行深度網(wǎng)絡(luò)中的信任分配是一個(gè)主要的長期問題，也是此論文貢獻(xiàn)的方向。

作者：Yoshua Bengio、Dong-Hyun Lee、Jorg Bornschein、Thomas Mesnard、Zhouhan Lin

摘要

神經(jīng)科學(xué)家長期以來批評(píng)深度學(xué)習(xí)算法與當(dāng)前的神經(jīng)生物學(xué)知識(shí)彼此不相容的現(xiàn)狀。我們探索了更加符合生物學(xué)邏輯的深度表征學(xué)習(xí)版本，本文主要關(guān)注無監(jiān)督式學(xué)習(xí)，但是也關(guān)注開發(fā)一個(gè)能解釋監(jiān)督式、無監(jiān)督式和強(qiáng)化學(xué)習(xí)的學(xué)習(xí)機(jī)制。我們要討論的第一點(diǎn)是，基礎(chǔ)的管理突觸權(quán)重更新（依賴于動(dòng)作電位尖峰時(shí)間的突觸可塑性）的學(xué)習(xí)規(guī)則源于一個(gè)簡單的很有意義的機(jī)器學(xué)習(xí)觀點(diǎn)更新規(guī)則，并且，只要神經(jīng)的動(dòng)態(tài)活動(dòng)能將激發(fā)率推向更好地某些目標(biāo)函數(shù)值（可能是監(jiān)督式、無監(jiān)督式或獎(jiǎng)賞驅(qū)動(dòng)的），就能用梯度下降法將該學(xué)習(xí)規(guī)則集成到這些目標(biāo)函數(shù)中。第二個(gè)主要觀點(diǎn)是，這與變分 EM 法的形式相對(duì)應(yīng)，也就是使用神經(jīng)動(dòng)力學(xué)實(shí)現(xiàn)的近似而非較精確的事后估值。本文的另一個(gè)貢獻(xiàn)是，需要在上面的變分解釋（ ?variational interpretation ?）中更新隱藏層的梯度可以使用近似值來估算，只需要將激活的信息向前和向后傳播，并且需要成對(duì)的層來學(xué)習(xí)形成降噪自動(dòng)編碼器。最后，我們拓展了關(guān)于自動(dòng)編碼器的概率論解釋，從而證明基于降噪自動(dòng)編碼器的生成式解釋的改進(jìn)抽樣計(jì)劃是正確的，而且我們用生成式學(xué)習(xí)任務(wù)證實(shí)了這些想法。

導(dǎo)語

深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)已經(jīng)從大腦獲得靈感，但大部分是在計(jì)算表現(xiàn)形式上的靈感（大多是生物學(xué)的，比如 spike 的存在留待考慮）。然而，如今缺少的是對(duì)生物神經(jīng)元中存在的學(xué)習(xí)規(guī)則的一個(gè)可信的機(jī)器學(xué)習(xí)說明，從而能夠解釋一個(gè)深度神經(jīng)網(wǎng)絡(luò)有效的聯(lián)合訓(xùn)練，也就是通過一個(gè)神經(jīng)連接長鏈說明信任分配（credit assignment）。因此，解決信任分配難題也意味著確認(rèn)神經(jīng)元與權(quán)重，這二者與得到想要的輸出和改變參數(shù)有關(guān)。反向傳播提供了一個(gè)機(jī)器學(xué)習(xí)答案，然而就像下一段討論的那樣，它并非生物學(xué)上可信的。尋找一個(gè)生物學(xué)上可信的機(jī)器學(xué)習(xí)方法進(jìn)行深度網(wǎng)絡(luò)中的信任分配是一個(gè)主要的長期問題，也是此論文貢獻(xiàn)的方向。

首先，讓我們思考一下依賴看起來生物學(xué)可信的機(jī)制的頂尖的深度學(xué)習(xí)算法，比如梯度反向傳播，這一機(jī)制也就是計(jì)算一個(gè)關(guān)于神經(jīng)激活和參數(shù)的目標(biāo)函數(shù)梯度。下列是有關(guān)反向傳播的生物學(xué)可信性的難題：（1）反向傳播計(jì)算（從輸出層到更低的隱層）是純線性的，然而生物神經(jīng)元是交錯(cuò)線性和非線性操作的。（2）如果大腦中存在的已知反饋通道（它們自己的突觸，或者可能是自己的神經(jīng)元）被用于通過反向傳播來傳送信任分配，他們就需要有關(guān)操作點(diǎn)（operating point）上非線性關(guān)系衍生物的準(zhǔn)確知識(shí)，在前饋通道上對(duì)應(yīng)的前饋計(jì)算上使用到這一操作點(diǎn)。（3）相似的，這些前饋通道也要使用準(zhǔn)確的前饋連接的對(duì)稱權(quán)重（有同樣連接、轉(zhuǎn)置）。（4）真正的神經(jīng)元通過（可能是隨機(jī)的）二進(jìn)制值（尖峰）通信，而不是完全的連續(xù)值。（5）計(jì)算必須要精準(zhǔn)的在時(shí)間上對(duì)應(yīng)前饋和反向傳播階段之間的替換物（因?yàn)楹笳咝枰罢叩慕Y(jié)果）。（6）輸出目標(biāo)出自哪里不清楚。此論文中提出的這一方法意圖解決所有的這些問題，盡管一些可能的生物實(shí)現(xiàn)還留有一些問題，而且更多需要考慮的生物學(xué)的細(xì)節(jié)在此論文中并未涉及到。

注意反向傳播不只被用于經(jīng)典的監(jiān)督學(xué)習(xí)，也被用于很多無監(jiān)督學(xué)習(xí)算法，包括所有類型的自動(dòng)編碼器：稀疏自動(dòng)編碼器（Ranzato et al., 2007; Goodfellow et al., 2009），降噪自動(dòng)編碼器（Vincent et al., 2008），收縮自動(dòng)編碼器（Rifai et al., 2011）以及更近期的變分自動(dòng)編碼器（Kingma、Welling, 2014）。其他不依賴反向傳播的無監(jiān)督學(xué)習(xí)算法，比如各種玻爾茲曼機(jī)器學(xué)習(xí)算法（Hinton and Sejnowski, 1986; Smolensky, 1986; Hinton et al., 2006; Salakhutdinov and Hinton, 2009）。玻爾茲曼機(jī)可能是最我們目前知道的進(jìn)行深度架構(gòu)的最生物學(xué)可信的學(xué)習(xí)算法，但就這一點(diǎn)而言，他們也有數(shù)個(gè)問題，比如獲取對(duì)稱權(quán)重的權(quán)重傳輸問題（上面的問題 3），以及正相 vs 反相的同步問題（類似于上面的問題 5）。

在 Sec.2 中我們首先提出了一個(gè)在生物突觸中觀察到的主要學(xué)習(xí)規(guī)則的解釋：脈沖時(shí)間相關(guān)的突觸可塑性（STDP）受到了先前思路的啟發(fā)（Xie and Seung, 2000; Hinton, 2007），我們首先通過直觀的參數(shù)和模擬展示，如果神經(jīng)元只被一個(gè)既不增加也不降低神經(jīng)元激發(fā)率的，與有關(guān)神經(jīng)元電勢的目標(biāo)函數(shù)梯度成正比的前饋信號(hào)驅(qū)動(dòng)的情況下，STDP 能被看做隨機(jī)梯度下降。

在 Sec.3 中，我們展現(xiàn)了 STDP 的首次機(jī)器學(xué)習(xí)釋義，帶來了通過多層的有效信用分配。我們首先表示，上面關(guān)于 STDP 的解釋表明神經(jīng)動(dòng)態(tài)（它在神經(jīng)激活中由于反饋和側(cè)壁連接創(chuàng)造了以上變化）相當(dāng)于對(duì)神經(jīng)結(jié)構(gòu)的推論，這種結(jié)構(gòu)更符合彼此以及觀察值（輸入、目標(biāo)或獎(jiǎng)勵(lì)）。當(dāng)玻爾茲曼機(jī)不需要獲得來自一個(gè) MCMC 平穩(wěn)分布（ stationary distribution）的表征樣本時(shí)，這個(gè)觀點(diǎn)類似于對(duì)玻爾茲曼機(jī)推論的解釋。除了 Hinton 的提議，它天然表明訓(xùn)練流程對(duì)應(yīng) EM 的一個(gè)變分形式（Neal and Hinton, 1999），可能基于 MAP（maximum a posteriori）或者 MCMC （Markov Chain Monte-Carlo）近似。

在 Sec.4 中，我們展示了這一數(shù)學(xué)框架如何表示對(duì)一個(gè)帶有很多潛在變量層的深度直接生成式網(wǎng)絡(luò)的訓(xùn)練流程。然而，上面的解釋仍然需要計(jì)算一些梯度。另一貢獻(xiàn)（Sec.6）是表明人們能夠通過一個(gè)只涉及普通神經(jīng)計(jì)算并且沒有明確派生物的近似值來評(píng)估這些梯度，這追隨了先前在目標(biāo)傳播（Bengio, 2014; Lee et al., 2014）上的研究。我們引入了一個(gè)新的針對(duì)差異目標(biāo)傳播（Lee et al., 2014）的 justification，利用了這樣的一個(gè)事實(shí)：提出的學(xué)習(xí)機(jī)制能被解釋為訓(xùn)練一個(gè)降噪自動(dòng)編碼器。就像在 Sec.5 中討論的，這一模型的解釋提供了從中采樣的不同方式，而且我們發(fā)現(xiàn)能夠獲得更好的樣本。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754