摘要：如今在機(jī)器學(xué)習(xí)中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學(xué)的啟發(fā)。雖然此后神經(jīng)科學(xué)在機(jī)器學(xué)習(xí)繼續(xù)發(fā)揮作用，但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學(xué)為基礎(chǔ)，而不是神經(jīng)科學(xué)的發(fā)現(xiàn)。

開始之前看一張有趣的圖 - 大腦遺傳地圖：

Figure 0. The Genetic Geography of the Brain - Allen Brain Atlas

成年人大腦結(jié)構(gòu)上的基因使用模式是高度定型和可再現(xiàn)的。 Figure 0 中所示的動(dòng)態(tài)熱圖表示跨個(gè)體的這種圖案化模式的共同結(jié)構(gòu)，特別是一些介于解剖區(qū)域?qū)Γ╬airs of anatomic regions）之間差異表達(dá)的基因數(shù)目，在我們的實(shí)驗(yàn)測量中，有5/6的大腦中發(fā)現(xiàn)了類似共同的模式。 熱紅色陰影代表在其轉(zhuǎn)錄調(diào)節(jié)中非常不同的腦區(qū)域，而較冷的藍(lán)色陰影代表高相似性的區(qū)域。

先看這張圖的用意是在于讓讀者了解目前大腦、神經(jīng)科學(xué)的前沿，人類不僅具有了解全部大腦基本功能的能力，并且已經(jīng)具備將各功能區(qū)域映射到自身遺傳物質(zhì)編碼上的能力。不僅如此，更多先進(jìn)的探測技術(shù)已經(jīng)能讓人們記錄下更詳細(xì)的神經(jīng)元內(nèi)部的活動(dòng)（dynamics），這使得對大腦內(nèi)部計(jì)算結(jié)構(gòu)的分析成為可能，上圖所示內(nèi)容凝結(jié)了眾多科學(xué)家的努力，相信一定是21世紀(jì)最偉大的科學(xué)突破之一。

說明：

1. 翻譯這篇文章出于學(xué)習(xí)目的，有翻譯或者理解有誤的地方還望大家多多指教；

2. 本文可以任意轉(zhuǎn)載，支持知識(shí)分享，但請注明出處或附上原文地址；

3. 文章中所有的引用都在本文內(nèi)嵌鏈接中可以找到，該論文有488篇引用！

4. 翻譯將進(jìn)行連載，這是系列的第一部分，對應(yīng)論文第一章；

Standing on the shoulders of giants, to touch the hands of "god".

引言

計(jì)算神經(jīng)科學(xué)專注于計(jì)算的詳細(xì)實(shí)現(xiàn)，研究神經(jīng)編碼、動(dòng)力學(xué)和電路。然而，在機(jī)器學(xué)習(xí)中，人工神經(jīng)網(wǎng)絡(luò)傾向于避開較精確設(shè)計(jì)的代碼，動(dòng)力學(xué)或電路，有利于成本函數(shù)的強(qiáng)力優(yōu)化（暴力搜索），通常使用簡單和相對均勻的初始架構(gòu)。在機(jī)器學(xué)習(xí)中，近期的兩個(gè)發(fā)展方向創(chuàng)造了連接這些看似不同觀點(diǎn)的機(jī)會(huì)。首先，使用結(jié)構(gòu)化體系架構(gòu)，包括用于注意力機(jī)制，遞歸和各種形式的短期和長期存儲(chǔ)器存儲(chǔ)的專用系統(tǒng)（Specialized System）。第二，成本函數(shù)和訓(xùn)練過程變得更加復(fù)雜，并且隨著時(shí)間的推移而變化。在這里我們根據(jù)這些想法思考大腦。我們假設(shè)（1）大腦優(yōu)化成本函數(shù)，（2）成本函數(shù)是多樣的且在不同的發(fā)展階段大腦不同位置的成本函數(shù)是不同的，和（3）優(yōu)化操作是在一個(gè)由行為預(yù)先架構(gòu)好的、與對應(yīng)計(jì)算問題相匹配的框架內(nèi)執(zhí)行。為了支持這些假設(shè)，我們認(rèn)為通過多層神經(jīng)元對可信度分配（Credit Assignment）的一系列實(shí)現(xiàn)是與我們當(dāng)前的神經(jīng)電路知識(shí)相兼容的，并且大腦的一些專門系統(tǒng)可以被解釋為對特定問題實(shí)現(xiàn)有效的優(yōu)化。通過一系列相互作用的成本函數(shù)，這樣非均勻優(yōu)化的系統(tǒng)使學(xué)習(xí)過程變得數(shù)據(jù)高效，并且較精確地針對機(jī)體的需求。我們建議一些神經(jīng)科學(xué)的研究方向可以尋求改進(jìn)和測試這些假設(shè)。

這里提到的相互作用的成本函數(shù)非常有趣，在目前的深度學(xué)習(xí)領(lǐng)域，使用多目標(biāo)函數(shù)的學(xué)習(xí)任務(wù)包括multi-task learning，transfer learning，adversarial generative learning等，甚至一些帶約束條件的優(yōu)化問題都可以一定程度上看做是多目標(biāo)函數(shù)的。（“目標(biāo)函數(shù)”是旨在最小化成本的函數(shù)，論文中使用成本函數(shù)，而所有的智能學(xué)習(xí)過程都是旨在降低各種成本函數(shù)值，比較普遍地人們會(huì)使用“信息熵”來作為量化標(biāo)準(zhǔn)，那么學(xué)習(xí)就可以看做是降低不確定性的行為）更有趣的是怎么相互作用？相互作用的目標(biāo)函數(shù)對學(xué)習(xí)過程有怎樣的幫助？

1. 介紹

今天的機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)使用的并不是同一種“語言”。 腦科學(xué)發(fā)現(xiàn)了一系列令人眼花繚亂的大腦區(qū)域（Solari and Stoner, 2011）、細(xì)胞類型、分子、細(xì)胞狀態(tài)以及計(jì)算和信息存儲(chǔ)的機(jī)制。 相反，機(jī)器學(xué)習(xí)主要集中在單一原理的實(shí)例化：函數(shù)優(yōu)化。 它發(fā)現(xiàn)簡單的優(yōu)化目標(biāo)，如最小化分類誤差，可以導(dǎo)致在在多層和復(fù)現(xiàn)（Recurrent）網(wǎng)絡(luò)形成豐富的內(nèi)部表示和強(qiáng)大的算法能力（LeCun et al., 2015; Schmidhuber, 2015）。 這里我們試圖去連接這些觀點(diǎn)。

如今在機(jī)器學(xué)習(xí)中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學(xué)的啟發(fā)（McCulloch and Pitts, 1943）。雖然此后神經(jīng)科學(xué)在機(jī)器學(xué)習(xí)繼續(xù)發(fā)揮作用（Cox and Dean, 2014），但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學(xué)為基礎(chǔ)，而不是神經(jīng)科學(xué)的發(fā)現(xiàn)（Sutskever and Martens,2013）。該領(lǐng)域從簡單線性系統(tǒng)（Minsky and Papert, 1972）到非線性網(wǎng)絡(luò)（Haykin,1994），再到深層和復(fù)現(xiàn)網(wǎng)絡(luò)（LeCun et al., 2015; Schmidhuber, 2015）。反向傳播誤差（Werbos, 1974, 1982; Rumelhart et al., 1986）通過提供一種有效的方法來計(jì)算相對于多層網(wǎng)絡(luò)的權(quán)重的梯度，使得神經(jīng)網(wǎng)絡(luò)能夠被有效地訓(xùn)練。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)改進(jìn)了很多，包括引入動(dòng)量的學(xué)習(xí)率，更好的權(quán)重矩陣初始化，和共軛梯度等，發(fā)展到當(dāng)前使用分批隨機(jī)梯度下降（SGD）優(yōu)化的網(wǎng)絡(luò)。這些發(fā)展與神經(jīng)科學(xué)并沒有明顯的聯(lián)系。

然而，我們將在此論證，神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)都已經(jīng)發(fā)展成熟到了可以再次“收斂”（交織）的局面。 機(jī)器學(xué)習(xí)的三個(gè)方面在本文所討論的上下文中都顯得特別重要。 首先，機(jī)器學(xué)習(xí)側(cè)重于成本函數(shù)的優(yōu)化（見Figure 1）。

Figure 1. 傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)和類腦神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)之間的假設(shè)差異。 （A）在常規(guī)深度學(xué)習(xí)中，監(jiān)督訓(xùn)練基于外部提供的標(biāo)記數(shù)據(jù)。 （B）在大腦中，網(wǎng)絡(luò)的監(jiān)督訓(xùn)練仍然可以通過對誤差信號(hào)的梯度下降發(fā)生，但是該誤差信號(hào)必須來自內(nèi)部生成的成本函數(shù)。這些成本函數(shù)本身是由遺傳基因和后天學(xué)習(xí)所指定的神經(jīng)模塊計(jì)算而來。內(nèi)部生成的成本函數(shù)創(chuàng)建heuristics（這個(gè)實(shí)在不好翻譯，“啟發(fā)”有些抽象，類似于元信息，大家意會(huì)吧），用于引導(dǎo)更復(fù)雜的學(xué)習(xí)。例如，識(shí)別面部的區(qū)域可以首先使用簡單的heuristic來訓(xùn)練以來檢測面部，這種heuristic就比如是在直線之上存在兩個(gè)點(diǎn)，然后進(jìn)一步訓(xùn)練以使用來自無監(jiān)督學(xué)習(xí)的表示結(jié)合來自其他與社交獎(jiǎng)勵(lì)處理相關(guān)的大腦區(qū)域的錯(cuò)誤信號(hào)來區(qū)分顯著的面部表情。 （C）內(nèi)部生成的成本函數(shù)和錯(cuò)誤驅(qū)動(dòng)的神經(jīng)皮質(zhì)深層網(wǎng)絡(luò)經(jīng)過訓(xùn)練形成包含幾個(gè)專門系統(tǒng)的較大架構(gòu)的一部分。雖然可訓(xùn)練皮層區(qū)域在這里被示意為前饋神經(jīng)網(wǎng)絡(luò)，但是LSTM或其他類型的recurrent網(wǎng)絡(luò)可能才是更較精確的比喻，并且許多神經(jīng)元和網(wǎng)絡(luò)性質(zhì)例如神經(jīng)脈沖、樹突計(jì)算、神經(jīng)調(diào)節(jié)、適應(yīng)和穩(wěn)態(tài)可塑性、定時(shí)依賴性可塑性、直接電連接、瞬時(shí)突觸動(dòng)力、興奮/抑制平衡、自發(fā)振蕩活動(dòng)、軸突傳導(dǎo)延遲（Izhikevich, 2006）等將影響這些網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容和方式。

這里說到的“來自無監(jiān)督學(xué)習(xí)的表示”可以用人工智能里的知識(shí)表示來理解，來自大腦其他區(qū)域的錯(cuò)誤信號(hào)也是一種表示，所以他們可以結(jié)合。深度學(xué)習(xí)中我們用實(shí)值張量來表示知識(shí)，個(gè)人認(rèn)為knowledge representation是智能形成最基礎(chǔ)的核心之一。C中描述的結(jié)構(gòu)與《On Intelligence》中作者提到的”柱狀體“神經(jīng)網(wǎng)絡(luò)非常類似。結(jié)尾的一大串神經(jīng)動(dòng)力學(xué)名詞真是又一次讓我深深感受到自己的無知...

第二，近來在機(jī)器學(xué)習(xí)中的工作開始引入復(fù)雜的成本函數(shù)：在層和時(shí)間上不一致的成本函數(shù)，以及由網(wǎng)絡(luò)的不同部分之間的交互產(chǎn)生的那些函數(shù)。 例如，引入低層的時(shí)間相干性（空間上非均勻成本函數(shù)）的目標(biāo)改進(jìn)了特征學(xué)習(xí)（Sermanet and Kavukcuoglu, 2013），成本函數(shù)計(jì)劃（時(shí)間上非均勻成本函數(shù)）改進(jìn)了泛化能力（Saxe et al., 2013; Goodfellow et al., 2014b; Gül?ehre and Bengio, 2016）以及對抗網(wǎng)絡(luò) - 內(nèi)部交互作用產(chǎn)生的成本函數(shù)的一個(gè)例子 - 允許生成式模型基于梯度訓(xùn)練（Goodfellow et al., 2014a）。 更容易訓(xùn)練的網(wǎng)絡(luò)正被用于提供“提示”，以幫助引導(dǎo)更強(qiáng)大的網(wǎng)絡(luò)的訓(xùn)練（Romero et al., 2014）。

第三，機(jī)器學(xué)習(xí)也開始多樣化進(jìn)行優(yōu)化的架構(gòu)。 它引入了具有多重持久狀態(tài)的簡單記憶細(xì)胞（Hochreiter and Schmidhuber, 1997; Chung et al., 2014），更復(fù)雜的基本計(jì)算結(jié)構(gòu)單元如“膠囊”和其他結(jié)構(gòu)（Delalleau and Bengio, 2011; Hinton et al., 2011; Tang et al., 2012; Livni et al., 2013），內(nèi)容可尋址性（Graves et al., 2014; Weston et al.,2014）和位置可尋址存儲(chǔ)器（Graves et al., 2014），另外還有指針 （Kurach et al., 2015）和硬編碼算術(shù)運(yùn)算（Neelakantan et al., 2015）。

這三個(gè)想法到目前為止在神經(jīng)科學(xué)中沒有受到很多關(guān)注。 因此，我們將這些想法形成為關(guān)于大腦的三個(gè)假設(shè)，檢查它們的證據(jù)，并且描繪可以如何測試它們的實(shí)驗(yàn)。 但首先，我們需要更準(zhǔn)確地陳述假設(shè)。

1.1 假設(shè)1 – 大腦進(jìn)行成本函數(shù)優(yōu)化

連接兩個(gè)領(lǐng)域的中心假設(shè)是，像許多機(jī)器學(xué)習(xí)系統(tǒng)一樣，生物系統(tǒng)能夠優(yōu)化成本函數(shù)。成本函數(shù)的想法意味著大腦區(qū)域中的神經(jīng)元可以以某種方式改變它們的屬性，例如它們的突觸的屬性，使得它們在做任何成本函數(shù)定義為它們的角色時(shí)更好。人類行為有時(shí)在一個(gè)領(lǐng)域中達(dá)到最優(yōu)，例如在運(yùn)動(dòng)期間（K?rding, 2007），這表明大腦可能已經(jīng)學(xué)習(xí)了較佳策略。受試者將他們的運(yùn)動(dòng)系統(tǒng)的能量消耗最小化（Taylor and Faisal, 2011），并且使他們的身體的風(fēng)險(xiǎn)和損害最小化，同時(shí)較大化財(cái)務(wù)和運(yùn)動(dòng)獲益。在計(jì)算上，我們現(xiàn)在知道軌跡的優(yōu)化為非常復(fù)雜的運(yùn)動(dòng)任務(wù)提出了非常不錯(cuò)的解決方案（Harris and Wolpert, 1998; Todorov and Jordan, 2002; Mordatch et al., 2012）。我們認(rèn)為成本函數(shù)優(yōu)化更廣泛地發(fā)在大腦使用的內(nèi)部表示和其他處理過程之中。重要的是，我們還建議這需要大腦在多層和recurrent網(wǎng)絡(luò)中具備有效的信用分配（credit assignment，感覺翻譯成中文還是有些奇怪）機(jī)制。

1.2 假設(shè)2 – 不同的發(fā)展階段中不同大腦區(qū)域的成本函數(shù)不同

第二個(gè)假設(shè)的另一種表達(dá)是：成本函數(shù)不需要是全局的。 不同腦區(qū)域中的神經(jīng)元可以優(yōu)化不同的事物，例如，運(yùn)動(dòng)的均方誤差、視覺刺激中的驚喜或注意分配。 重要的是，這樣的成本函數(shù)可以在局部大腦區(qū)域生成。 例如，神經(jīng)元可以局部評估其輸入的統(tǒng)計(jì)模型的質(zhì)量（Figure1B）。 或者，一個(gè)區(qū)域的成本函數(shù)可以由另一個(gè)區(qū)域生成。 此外，成本函數(shù)可以隨時(shí)間改變，例如，神經(jīng)網(wǎng)絡(luò)先指導(dǎo)小孩早期理解簡單的視覺對比度，稍后再進(jìn)行面部識(shí)別。 這可以允許發(fā)展中的大腦根據(jù)更簡單的知識(shí)來引導(dǎo)更復(fù)雜的知識(shí)。 大腦中的成本函數(shù)是非常復(fù)雜的，并且被安排成在不同地區(qū)和不同發(fā)展之間變化。

1.3 假設(shè)3 – 專門系統(tǒng)提供關(guān)鍵計(jì)算問題上的高效解

第三個(gè)認(rèn)識(shí)是：神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)很重要。信息在不同大腦區(qū)域流動(dòng)的模式似乎有根本性差異的，這表明它們解決不同的計(jì)算問題。一些腦區(qū)是高度recurrent的，可能使它們被預(yù)定為短期記憶存儲(chǔ)（Wang, 2012）。一些區(qū)域包含能夠在定性不同的激活狀態(tài)之間切換的細(xì)胞類型，例如響應(yīng)于特定神經(jīng)遞質(zhì)的持續(xù)發(fā)射模式與瞬時(shí)發(fā)射模式（Hasselmo, 2006）。其他區(qū)域，如丘腦似乎有來自其他區(qū)域的信息流經(jīng)它們，也許允許他們確定信息路由（Sherman, 2005）。像基底神經(jīng)節(jié)的區(qū)域參與強(qiáng)化學(xué)習(xí)和分離決定的門控（Doya, 1999; Sejnowski and Poizner,2014）。正如每個(gè)程序員所知，專門的算法對于計(jì)算問題的有效解決方案很重要，并且大腦可能會(huì)很好地利用這種專業(yè)化（Figure1 C）。

這些想法受到機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展的啟發(fā)，但我們也認(rèn)為大腦與今天的機(jī)器學(xué)習(xí)技術(shù)有很大的不同。特別是，世界給我們一個(gè)相對有限的信息量以讓我們可以用于監(jiān)督學(xué)習(xí)（Fodor and Crowther, 2002）。有大量的信息可用于無人監(jiān)督的學(xué)習(xí)，但沒有理由假設(shè)會(huì)存在一個(gè)通用的無監(jiān)督算法，無論多么強(qiáng)大，將按人們需要知道的順序較精確學(xué)習(xí)人類需要知道的事情。因此，從進(jìn)化的角度來看，使得無監(jiān)督學(xué)習(xí)解決“正確”問題的挑戰(zhàn)是找到一系列成本函數(shù)，其將根據(jù)規(guī)定的發(fā)展階段確定性地建立電路和行為，使得最終相對少量的信息足以產(chǎn)生正確的行為。例如，一個(gè)成長中的鴨子跟隨（Tinbergen, 1965）其父母的行為印記模板，然后使用該模板來生成終級(jí)目標(biāo)，幫助它開發(fā)其他技能，如覓食。

根據(jù)上述內(nèi)容和其他研究（Minsky, 1977; Ullman et al., 2012），我們認(rèn)為（suggest）許多大腦的成本函數(shù)產(chǎn)生于這樣的內(nèi)部自舉過程。事實(shí)上，我們提出生物發(fā)展和強(qiáng)化學(xué)習(xí)實(shí)際上可以程序化實(shí)現(xiàn)生成一系列成本函數(shù)，較精確預(yù)測大腦內(nèi)部子系統(tǒng)以及整個(gè)生物體面臨的未來需求。這種類型的發(fā)展程序化地引導(dǎo)生成多樣化和復(fù)雜的成本函數(shù)的內(nèi)部基礎(chǔ)設(shè)施，同時(shí)簡化大腦的內(nèi)部過程所面臨的學(xué)習(xí)問題。除了諸如家族印記的簡單任務(wù)之外，這種類型的引導(dǎo)可以擴(kuò)展到更高的認(rèn)知，例如，內(nèi)部產(chǎn)生的成本函數(shù)可以訓(xùn)練發(fā)育中的大腦正確地訪問其存儲(chǔ)器或者以隨后證明有用的方式組織其動(dòng)作。這樣的潛在引導(dǎo)機(jī)制在無監(jiān)督和強(qiáng)化學(xué)習(xí)的背景下運(yùn)行，并且遠(yuǎn)遠(yuǎn)超出當(dāng)今機(jī)器學(xué)習(xí)、人工智能課程學(xué)習(xí)的理念（Bengio et al.,2009）。

這段是至今我所看過的人工智能文獻(xiàn)里最精彩的部分。

本文的其余部分，我們將闡述這些假設(shè)。 首先，我們將認(rèn)為局部和多層優(yōu)化，出乎意料地與我們所知道的大腦兼容。 第二，我們將認(rèn)為成本函數(shù)在大腦區(qū)域和不同時(shí)間的變化是不同的，并且描述了成本函數(shù)如何以協(xié)調(diào)方式交互以允許引導(dǎo)復(fù)雜函數(shù)。 第三，我們將列出一系列需要通過神經(jīng)計(jì)算解決的專門問題，以及具有似乎與特定計(jì)算問題匹配的結(jié)構(gòu)的腦區(qū)域。 然后，我們討論上述假設(shè)的神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)研究方法的一些影響，并草擬一組實(shí)驗(yàn)來測試這些假設(shè)。 最后，我們從演化的角度討論這個(gè)架構(gòu)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754