摘要：認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)根據(jù)一種被稱為信息瓶頸的過程在學(xué)習(xí)，他和兩位合作者最早在年對這一過程進(jìn)行了純理論方面的描述。另外一些研究人員則持懷疑態(tài)度，認(rèn)為信息瓶頸理論不能完全解釋深學(xué)習(xí)的成功。

利用深度神經(jīng)網(wǎng)絡(luò)的機(jī)器已經(jīng)學(xué)會(huì)了交談、開車，在玩視頻游戲和下圍棋時(shí)擊敗了世界冠軍，還能做夢、畫畫，幫助進(jìn)行科學(xué)發(fā)現(xiàn)，但同時(shí)它們也深深地讓其發(fā)明者困惑，誰也沒有料到所謂的“深度學(xué)習(xí)”算法能做得這么好。沒有基本的原則指引這些學(xué)習(xí)系統(tǒng)，除了一些模糊的來自人類大腦的設(shè)計(jì)靈感（而關(guān)于這一點(diǎn)，實(shí)際上也沒有人真正懂得多少）。

像大腦一樣，深度神經(jīng)網(wǎng)絡(luò)也有很多層神經(jīng)元。當(dāng)神經(jīng)元被激活時(shí)，它會(huì)發(fā)出信號，連接上面一層的神經(jīng)元。在深度學(xué)習(xí)的過程中，網(wǎng)絡(luò)中的連接會(huì)根據(jù)需要被加強(qiáng)或減弱，從而讓網(wǎng)絡(luò)更好地根據(jù)輸入（例如一張狗的照片的像素）發(fā)送信號，信號層層向上，經(jīng)過所有相關(guān)的神經(jīng)元，這些神經(jīng)元都與“狗”這個(gè)概念的高層抽象有關(guān)。一個(gè)深度神經(jīng)網(wǎng)絡(luò)在“學(xué)習(xí)”過數(shù)以千計(jì)的狗的照片后，能像人一樣準(zhǔn)確地識(shí)別出從未見過的照片中的狗。

從具體個(gè)例到通用概念的飛躍，讓深度神經(jīng)網(wǎng)絡(luò)擁有了如同人類在推理、創(chuàng)作時(shí)所展現(xiàn)出的“智能”。專業(yè)人員想知道，是什么賦予了神經(jīng)網(wǎng)絡(luò)泛化的能力，也想知道人類的大腦在多大程度上也在進(jìn)行類似的活動(dòng)。

近年來少有的干貨演講，Hinton說他要看上10000遍才懂

上月，在柏林舉行的一場演講為這一疑問提供了一個(gè)可能的回答，這場演講的視頻在人工智能研究人員間廣為分享。

演講中，希伯來大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家Naftali Tishby，提出了一種解釋深度學(xué)習(xí)工作原理的新理論，并給出了證據(jù)支撐。Tishby認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)根據(jù)一種被稱為“信息瓶頸”（information bottleneck）的過程在學(xué)習(xí)，他和兩位合作者最早在1999年對這一過程進(jìn)行了純理論方面的描述。

Naftali Tishby在柏林的演講《深度學(xué)習(xí)：理論、算法和應(yīng)用》，時(shí)長約58分鐘。Hinton評價(jià)說，這是近年來少有的干貨演講

信息瓶頸理論認(rèn)為，網(wǎng)絡(luò)像把信息從一個(gè)瓶頸中擠壓出去一般，去除掉那些含有無關(guān)細(xì)節(jié)的噪音輸入數(shù)據(jù)，只保留與通用概念（general concept）最相關(guān)的特征。Tishby和他的學(xué)生Ravid Shwartz-Ziv的實(shí)驗(yàn)，展示了深度學(xué)習(xí)過程中這種“擠壓”是如何發(fā)生的（至少在他們所研究的案例里）。

Tishby的發(fā)現(xiàn)在AI研究圈激起了強(qiáng)烈的反向。Google Researc的Alex Alemi說：“我認(rèn)為信息瓶頸的想法可能在未來深度神經(jīng)網(wǎng)絡(luò)的研究中非常重要。”Alemi已經(jīng)開發(fā)了新的近似方法，在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用信息瓶頸分析。Alemi說，信息瓶頸可能“不僅能夠用于理解為什么神經(jīng)網(wǎng)絡(luò)有用，也是用于構(gòu)建新目標(biāo)和新網(wǎng)絡(luò)架構(gòu)的理論工具”。

另外一些研究人員則持懷疑態(tài)度，認(rèn)為信息瓶頸理論不能完全解釋深學(xué)習(xí)的成功。但是，紐約大學(xué)的粒子物理學(xué)家Kyle Cranmer——他使用機(jī)器學(xué)習(xí)來分析大型強(qiáng)子對撞機(jī)的粒子碰撞——表示，一種通用的學(xué)習(xí)原理（a general principle of learning），“聽上去有些道理”。

深度學(xué)習(xí)先驅(qū)Geoffrey Hinton在看完Tishby的柏林演講后發(fā)電子郵件給Tishby?！斑@簡直太有趣了，”Hinton寫道：“我還得聽上10,000次才能真正理解它，但如今聽一個(gè)演講，里面有真正原創(chuàng)的想法，而且可能解決重大的問題，真是非常罕見了?！?/p>

Tishby認(rèn)為，信息瓶頸是學(xué)習(xí)的一個(gè)基本原則，無論是算法也好，蒼蠅也罷，任何有意識(shí)的存在或突發(fā)行為的物理學(xué)計(jì)算，大家最期待的答案——“學(xué)習(xí)最重要的部分實(shí)際上是忘記”。

香農(nóng)錯(cuò)了——利用信息論，我們能夠較精確定義“相關(guān)性”

Tishby很早便開始考慮信息瓶頸的問題，那時(shí)候其他研究人員也才剛剛開始醞釀深度神經(jīng)網(wǎng)絡(luò)，盡管當(dāng)時(shí)無論是信息瓶頸還是深度神經(jīng)網(wǎng)絡(luò)都還沒有得名。那是20世紀(jì)80年代，Tishby在思考人類是如何做語音識(shí)別的——語音識(shí)別是當(dāng)時(shí)AI的一個(gè)重大挑戰(zhàn)。Tishby意識(shí)到，問題的關(guān)鍵是相關(guān)性：說出來的一個(gè)詞最相關(guān)的特征是什么，我們又該如何從重音、語調(diào)、模糊音等變量中將這個(gè)特征計(jì)算出來？在通常情況下，當(dāng)我們面對現(xiàn)實(shí)生活中汪洋大海般的數(shù)據(jù)時(shí)，哪些信號是我們會(huì)保留下來的？

“相關(guān)信息（relevant information）的概念在歷史上提到了許多次，但從來沒有被正確地形式化，”Tishby在上個(gè)月接受采訪時(shí)說：“多年來，人們認(rèn)為信息論不是考慮相關(guān)性的正確方式，這個(gè)誤解可以一直追溯到香農(nóng)本人?！?/p>

克勞德·香農(nóng)，信息論的創(chuàng)始人，從某種程度上說，是香農(nóng)解放了人類對信息的研究，讓信息能夠以抽象的0、1形式和純粹的數(shù)學(xué)意義被研究。正如Tishby所說的那樣，香農(nóng)認(rèn)為“信息并非關(guān)乎語義”。但是，Tishby認(rèn)為，這是不正確的。

Tishby意識(shí)到，利用信息論，“你能較精確定義‘相關(guān)’（relevant）”。

希伯來大學(xué)計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家Naftali Tishby

假設(shè)X是一個(gè)復(fù)雜的數(shù)據(jù)集，就像一張狗的照片的像素，而Y是這些數(shù)據(jù)代表的一個(gè)更為簡單的變量，比如單詞“狗”。你可以任意壓縮X而不丟失預(yù)測Y的能力，將X中所有與Y“相關(guān)”的信息捕獲下來。在他們1999年的論文中，Tishby和他的共同作者，F(xiàn)ernando Pereira（現(xiàn)在在谷歌）和William Bialek（現(xiàn)在在普林斯頓大學(xué)），將這一過程轉(zhuǎn)換成一個(gè)數(shù)學(xué)優(yōu)化問題并且提出了數(shù)學(xué)公式。這是一個(gè)沒有殺手級應(yīng)用的核心基礎(chǔ)概念。

“我沿著這條路在各種不同的情景中思考了30年，”Tishby說：“我的運(yùn)氣就是深度神經(jīng)網(wǎng)絡(luò)變得如此重要?！?/p>

一篇論文的驚人發(fā)現(xiàn)：深度學(xué)習(xí)與物理重整化是完全相同的過程

深度神經(jīng)網(wǎng)絡(luò)背后的概念已經(jīng)存在了幾十年，但它們在語音和圖像識(shí)別任務(wù)中的表現(xiàn)在最近幾年才開始起飛，得益于改進(jìn)了訓(xùn)練方案和更強(qiáng)大的計(jì)算機(jī)處理器。Tishby在讀了物理學(xué)家David Schwab和Pankaj Mehta在2014年發(fā)表的一篇論文后，開始注意到深度學(xué)習(xí)與信息瓶頸理論的關(guān)聯(lián)。

David Schwab和Pankaj Mehta兩人發(fā)現(xiàn)，Hinton發(fā)明的“深度信念網(wǎng)絡(luò)”（DBN），在一種特定的情況下，酷似物理學(xué)中的重整化（renormalization），也就是以粗粒度的方式獲取物理系統(tǒng)的細(xì)節(jié)，從而計(jì)算其整體狀態(tài)。當(dāng)Schwab和Mehta將深度信念網(wǎng)絡(luò)應(yīng)用于一個(gè)處于“臨界點(diǎn)”的磁力模型時(shí)（這時(shí)該系統(tǒng)是分形，在任意尺度都自相似），他們發(fā)現(xiàn)，網(wǎng)絡(luò)會(huì)自動(dòng)使用重整化般的過程來發(fā)現(xiàn)模型的狀態(tài)。

這一發(fā)現(xiàn)令人震驚，正如生物物理學(xué)家Ilya Nemenman當(dāng)時(shí)評論所說的那樣，它表明了“在統(tǒng)計(jì)物理的背景下提取相關(guān)特征和在深度學(xué)習(xí)的背景下提取相關(guān)特征并不只是類似，而是完完全全的同一個(gè)?！?/p>

物理學(xué)家David Schwab和Pankaj Mehta在2014年的論文，證明在特定情況下深度學(xué)習(xí)等同于物理中的重整化技術(shù)，這讓Tishby注意到信息瓶頸理論與深度學(xué)習(xí)之間的關(guān)聯(lián)

的問題是，在一般情況下，現(xiàn)實(shí)世界并不是分形。Cranmer說：“我不會(huì)說[重整化步驟]就是深度學(xué)習(xí)在處理自然圖像時(shí)效果這么好的原因?！?/p>

但Tishby——他當(dāng)時(shí)正在接受胰腺癌化療——意識(shí)到，無論是粗粒度過程還是深度學(xué)習(xí)，都可以被一個(gè)更廣泛通用的想法所涵蓋?！皩茖W(xué)和對我以前想法的思考是我的治療和康復(fù)的重要組成部分，”Tishby說。

Naftali Tishby的學(xué)生Noga Zaslavsky（左）和Ravid Shwartz-Ziv，他們幫助開發(fā)了深度學(xué)習(xí)信息瓶頸理論。

信息瓶頸：網(wǎng)絡(luò)在抽取相關(guān)性時(shí)的理論邊界

2015年，Tishby和他的學(xué)生Noga Zaslavsky假設(shè)深度學(xué)習(xí)是一個(gè)信息瓶頸過程，盡可能地壓縮噪聲數(shù)據(jù)，同時(shí)保留數(shù)據(jù)所代表的信息。Tishby和Shwartz-Ziv對深度神經(jīng)網(wǎng)絡(luò)的新實(shí)驗(yàn)揭示了瓶頸過程如何實(shí)際發(fā)生的。在一種情況下，研究人員使用小型神經(jīng)網(wǎng)絡(luò)，使用隨機(jī)梯度下降和BP，經(jīng)過訓(xùn)練后，能夠用1或0（也即“是狗”或“不是狗”）標(biāo)記輸入數(shù)據(jù)，并給出其282個(gè)神經(jīng)連接隨機(jī)初始強(qiáng)度，然后跟蹤了網(wǎng)絡(luò)在接收3000個(gè)樣本輸入數(shù)據(jù)集后發(fā)生了什么。

實(shí)驗(yàn)中，Tishby和Shwartz-Ziv跟蹤了每層網(wǎng)絡(luò)保留了多少輸入中的信息和輸出標(biāo)簽中的信息。結(jié)果發(fā)現(xiàn)，信息經(jīng)過逐層傳遞，最終收斂到信息瓶頸的理論邊界：也就是Tishby、Pereira和Bialek在他們1999年論文中推導(dǎo)出的理論界限，代表系統(tǒng)在抽取相關(guān)信息時(shí)能夠做到的較好的情況。在這個(gè)邊界上，網(wǎng)絡(luò)在沒有犧牲準(zhǔn)確預(yù)測標(biāo)簽?zāi)芰Φ那闆r下，盡可能地壓縮輸入。

Tishby和Shwartz-Ziv還提出了一個(gè)有趣的發(fā)現(xiàn)，即深度學(xué)習(xí)分為兩個(gè)階段：一個(gè)簡短的“擬合”階段，在此期間，網(wǎng)絡(luò)學(xué)著去標(biāo)注其訓(xùn)練數(shù)據(jù)，以及一個(gè)更長時(shí)間的“壓縮”階段，在這個(gè)階段網(wǎng)絡(luò)變得能夠泛化，也即標(biāo)記新的測試數(shù)據(jù)。

作者在論文中指出，他們在實(shí)驗(yàn)中首次觀察到了隨機(jī)梯度下降優(yōu)化過程中兩個(gè)獨(dú)特的階段，經(jīng)驗(yàn)誤差最小化（ERM）和表示壓縮。上圖展示了SGD過程中信息逐層傳遞收斂的情況。

在深度神經(jīng)網(wǎng)絡(luò)通過隨機(jī)梯度下降調(diào)整其連接權(quán)重的過程中，首先，網(wǎng)絡(luò)存儲(chǔ)的關(guān)于輸入的數(shù)據(jù)會(huì)大致保持恒定或者稍微增加一點(diǎn)點(diǎn)，這時(shí)網(wǎng)絡(luò)連接會(huì)進(jìn)行調(diào)整，為輸入中的模式進(jìn)行編碼，更好地?cái)M合標(biāo)簽。有一些專家也將這個(gè)階段與記憶進(jìn)行了類比。

然后，學(xué)習(xí)切換到壓縮階段。網(wǎng)絡(luò)開始扔掉一些關(guān)于輸入數(shù)據(jù)的信息，只跟蹤最強(qiáng)的特征——與輸出標(biāo)簽最相關(guān)的那些關(guān)聯(lián)（correlation）。這是因?yàn)椋陔S機(jī)梯度下降的每次迭代中，訓(xùn)練數(shù)據(jù)中或多或少的意外相關(guān)性會(huì)告訴網(wǎng)絡(luò)做不同的事情，在隨機(jī)游走（random walk）中上下?lián)軇?dòng)神經(jīng)連接的強(qiáng)度。這種隨機(jī)化與壓縮系統(tǒng)輸入數(shù)據(jù)的表示（representation）實(shí)際上是相同的?？催@個(gè)例子，一些狗的照片的背景中可能有房子，而其他的照片沒有。在網(wǎng)絡(luò)不停地訓(xùn)練過程中，它可能會(huì)“忘記”一些照片中房屋和狗之間的相關(guān)性，因?yàn)槠渌掌窒诉@一點(diǎn)。Tishby和Shwartz-Ziv認(rèn)為，正是對細(xì)節(jié)的遺忘使得系統(tǒng)能夠形成通用的概念。實(shí)際上，他們的實(shí)驗(yàn)表明，深度神經(jīng)網(wǎng)絡(luò)在壓縮階段提高了泛化性能，在標(biāo)記測試數(shù)據(jù)方面變得更好。?

信息瓶頸能否解釋所有的深度學(xué)習(xí)？

信息瓶頸是否能解釋所有深度學(xué)習(xí)，除了壓縮以外是否還有其他的泛化途徑，這些還有待觀察。一些AI專家認(rèn)為，Tishby的想法是近期出現(xiàn)的關(guān)于深度學(xué)習(xí)最重要的理論見解之一。不過，哈佛大學(xué)AI研究員和理論神經(jīng)科學(xué)家Andrew Saxe指出，某些非常大的深度神經(jīng)網(wǎng)絡(luò)似乎不需要專門的壓縮階段來泛化。研究人員會(huì)用一種叫做“早期停止”（early stopping）的方式進(jìn)行編程，減少訓(xùn)練，從一開始就防止網(wǎng)絡(luò)編碼過多的相關(guān)性。

Tishby認(rèn)為，Saxe及其同事分析的網(wǎng)絡(luò)模型與標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)有所不同，但是即使如此，信息瓶頸的理論界限比其他方法更好地定義了這些網(wǎng)絡(luò)的泛化性能。關(guān)于瓶頸是否適用于較大神經(jīng)網(wǎng)絡(luò)，Tishby和Shwartz-Ziv的實(shí)驗(yàn)部分解決了這一問題。在的這項(xiàng)實(shí)驗(yàn)中，Tishby他們訓(xùn)練了更大的，擁有33萬連接的深度神經(jīng)網(wǎng)絡(luò)，識(shí)別美國國家標(biāo)準(zhǔn)和技術(shù)研究所數(shù)據(jù)庫（Modified National Institute of Standards and Technology database）中60,000張手寫數(shù)字的圖像，這也是衡量深度學(xué)習(xí)算法性能的一個(gè)知名基準(zhǔn)。

Tishby和Shwartz-Ziv觀察到了同樣的現(xiàn)象，網(wǎng)絡(luò)收斂到了信息瓶頸的理論界限；他們也觀察到了深度學(xué)習(xí)那兩個(gè)截然不同的階段，并且與較小的網(wǎng)絡(luò)相比，大規(guī)模網(wǎng)絡(luò)在這兩個(gè)階段的轉(zhuǎn)換更加明顯。

“我現(xiàn)在完全相信這是一個(gè)普遍現(xiàn)象。”Tishby說。

人與機(jī)器：學(xué)習(xí)過程中最重要的，是遺忘

大腦如何從我們的感官中篩選信號并將其提升到意識(shí)水平的謎團(tuán)驅(qū)使了早期AI研究者對深度神經(jīng)網(wǎng)絡(luò)的興趣，他們希望逆向設(shè)計(jì)大腦的學(xué)習(xí)規(guī)則。時(shí)至今日，AI從業(yè)者在技術(shù)進(jìn)步的狂熱中，已經(jīng)在很大程度上放棄了這一點(diǎn)，迷醉于提高性能而不考慮生物學(xué)上的合理性。不過，在他們打造的思維機(jī)器能力不斷提升的過程中，許多研究人員仍然希望，這些探索能夠揭示關(guān)于學(xué)習(xí)和智能的通用見解。

紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授Brenden Lake致力于研究人類和機(jī)器學(xué)習(xí)的異同，他認(rèn)為Tishby的發(fā)現(xiàn)是“打開神經(jīng)網(wǎng)絡(luò)黑匣子的重要一步”。但Lake強(qiáng)調(diào)說，大腦代表了一個(gè)更大、更黑的黑盒子。成年人的大腦擁有860億個(gè)神經(jīng)元，之間更有數(shù)百萬億個(gè)連接，很可能采用了眾多策略來加強(qiáng)泛化，遠(yuǎn)遠(yuǎn)超越嬰兒期發(fā)生的基本的圖像和聲音識(shí)別的學(xué)習(xí)過程，后者在很大程度上類似當(dāng)前的深度學(xué)習(xí)。

Lake說，Tishby觀察到的擬合和壓縮階段，似乎并不能對應(yīng)到兒童學(xué)習(xí)手寫字符的過程中。 人類孩子學(xué)習(xí)認(rèn)字寫字，并不需要看數(shù)千個(gè)字符并在比較長的時(shí)間中壓縮他們思維中的表示（representation）。事實(shí)上，人類兒童可以從一個(gè)樣本中學(xué)習(xí)。Lake和他的同事構(gòu)建模型表明，大腦可能會(huì)把新的字符解構(gòu)成一系列的筆畫——以前就有的思維表示，從而將字母（letter）的概念加入到先前的知識(shí)大廈中，“而不是像標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法一樣，將一個(gè)字母作為像素圖案來學(xué)習(xí)，通過映射特征學(xué)習(xí)概念”。Lake說，人類建立了一個(gè)簡單的因果模型——一個(gè)更短的泛化路徑。

這種想法可能為AI研究社區(qū)帶來啟發(fā)，進(jìn)一步推動(dòng)兩個(gè)領(lǐng)域彼此間的往來。Tishby認(rèn)為，他的信息瓶頸理論最終將被證明在兩門學(xué)科中都有用，可能在人類學(xué)習(xí)中采取一種比AI學(xué)習(xí)更泛化的表示。信息瓶頸理論的一個(gè)直接應(yīng)用，便是更好地了解人類神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)可以解決哪些問題。

“它給出了可以學(xué)習(xí)的問題的完整描述，”Tishby說：“這些都是我可以在輸入中消除噪音，而不會(huì)損害我分類能力的問題。例如自然視覺、語音識(shí)別。這些也正是我們的大腦可以應(yīng)付的問題?！?/p>

同時(shí)，人類神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)都無法很好地解決另一些問題，那就是每個(gè)細(xì)節(jié)都很重要，因此無法去除信息的問題。例如，大多數(shù)人不能快速地在心里將兩個(gè)數(shù)字相乘。Tishby說：“我們有一大堆類似這樣的問題，改變一個(gè)變量都會(huì)引發(fā)全局變化的邏輯問題。例如離散問題、加密問題。我不認(rèn)為深度學(xué)習(xí)都幫助我破譯密碼。”

泛化——或者說遍歷信息瓶頸——意味著舍棄一些細(xì)節(jié)。這對心算不好，但心算并不是大腦的主要任務(wù)。我們擅長在人群中尋找熟悉的面孔，在嘈雜、混亂的世界中對尋找顯著信號的秩序。正如Naftali Tishby所說，學(xué)習(xí)中最重要的，實(shí)際上是遺忘。

原文鏈接：https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754