資訊專(zhuān)欄INFORMATION COLUMN
摘要：在最近的一次大會(huì)上，表示，他對(duì)反向傳播深表懷疑，并認(rèn)為我的觀點(diǎn)是將它完全摒棄，然后重新開(kāi)始。相對(duì)于對(duì)象函數(shù)計(jì)算反向傳播。通常，目標(biāo)函數(shù)是預(yù)測(cè)分布與實(shí)際分布之間差異的量度。所以也許無(wú)監(jiān)督的學(xué)習(xí)不需要目標(biāo)函數(shù)，但是它仍然可能需要反向傳播。
Geoffrey Hinton終于公開(kāi)闡述了他對(duì)那些早已令許多人惶恐不安的事物的看法。在最近的一次AI大會(huì)上，Hinton表示，他對(duì)反向傳播“深表懷疑”，并認(rèn)為：“我的觀點(diǎn)是將它完全摒棄，然后重新開(kāi)始”。
現(xiàn)如今，反向傳播已成為深度學(xué)習(xí)的“面包和黃油”機(jī)制。研究人員發(fā)現(xiàn)，可以在解決方案中使用任何計(jì)算層，的要求就是層必須是可微的。換句話說(shuō)，我們要能夠計(jì)算出層的梯度。
關(guān)于反向傳播有這么幾個(gè)問(wèn)題值得思考。第一個(gè)是經(jīng)過(guò)計(jì)算的梯度是否始終是學(xué)習(xí)的正確方向？直觀感覺(jué)這個(gè)是有問(wèn)題的。人們總能發(fā)現(xiàn)問(wèn)題，其中向著最明顯的方向移動(dòng)并不總是能夠找到解決方案。因此忽略梯度也可能產(chǎn)生一個(gè)解決方案，這也沒(méi)什么可意外的。關(guān)于適應(yīng)性觀點(diǎn)與優(yōu)化性觀點(diǎn)之間的區(qū)別，我在之前的文章里闡述過(guò)，有興趣的可以查閱。
我們來(lái)回顧一下，并試圖以歷史的視角來(lái)了解這種反向傳播思想的來(lái)源。從歷史上看，機(jī)器學(xué)習(xí)源于曲線擬合的一般理解。在線性回歸的具體示例下（即用直線進(jìn)行預(yù)測(cè)），計(jì)算梯度是求解最小二乘問(wèn)題的方法。在優(yōu)化問(wèn)題中，除了使用梯度求解較佳解決方案之外，還有許多其他可供選擇的方法。事實(shí)上，隨機(jī)梯度下降可能是最基本的優(yōu)化方法之一，所以人們可能認(rèn)為它是一個(gè)非常出色的，最簡(jiǎn)單的算法之一，而實(shí)際上它的性能確實(shí)是非常棒的。
大多數(shù)優(yōu)化專(zhuān)家一直認(rèn)為，深度學(xué)習(xí)的高維空間將需要一個(gè)非凸（non-convex）的解決方案，因此難以?xún)?yōu)化。然而，由于一些無(wú)法解釋的原因，深度學(xué)習(xí)使用隨機(jī)梯度下降（SGD）的運(yùn)行效果非常好。許多研究人員后來(lái)提出了許多不同的觀點(diǎn)，以解釋為什么使用SGD時(shí)深度學(xué)習(xí)的優(yōu)化效果如此好。一個(gè)更具說(shuō)服力的觀點(diǎn)是，在高維空間中，人們更有可能找到一個(gè)鞍點(diǎn)（saddle point）而不是local valley?？倳?huì)有足夠的維度和梯度，指向一條逃逸路線。
?
指南
合成梯度（Synthetic Gradients），一種使層分離的方法，從而使得反向傳播并不總是必不可少，或者使得梯度計(jì)算可以被延遲，而這樣方法也同樣被證明是有效的。這個(gè)發(fā)現(xiàn)可能是一個(gè)暗示，即其他更為通用的事情正在發(fā)生。這就好像任何一種趨向于增量的更新，無(wú)論方向如何（在合成梯度的情況下都是隨機(jī)的）同樣有效。
還有一個(gè)關(guān)于所使用的典型目標(biāo)函數(shù)的問(wèn)題。相對(duì)于對(duì)象函數(shù)計(jì)算反向傳播。通常，目標(biāo)函數(shù)是預(yù)測(cè)分布與實(shí)際分布之間差異的量度。通常，有些東西導(dǎo)出Kullback-Liebler散度或者像Wassertsein這樣的其他相似性分布測(cè)量。然而，在這些相似性計(jì)算中，在監(jiān)督訓(xùn)練中存在“標(biāo)簽”。在同一次采訪中，Hinton對(duì)無(wú)監(jiān)督的學(xué)習(xí)表示：“我懷疑這意味著擺脫反向傳播?！彼M(jìn)一步說(shuō)，“我們顯然不需要所有的標(biāo)簽數(shù)據(jù)?！?/p>
簡(jiǎn)而言之，如果你沒(méi)有目標(biāo)函數(shù)，則不能進(jìn)行反向傳播。如果你沒(méi)有預(yù)測(cè)值和標(biāo)記（實(shí)際或訓(xùn)練數(shù)據(jù)）值之間的度量，則無(wú)法得到目標(biāo)函數(shù)。所以要實(shí)現(xiàn)“無(wú)監(jiān)督學(xué)習(xí)”，你可能會(huì)拋棄計(jì)算梯度的能力。
讓我們從更廣泛的視角來(lái)檢驗(yàn)?zāi)繕?biāo)函數(shù)的目的。目標(biāo)函數(shù)是衡量?jī)?nèi)部模型在預(yù)測(cè)其環(huán)境方面的準(zhǔn)確程度。任何智能自動(dòng)化過(guò)程的目的是制定較精確的內(nèi)部模型。然而，沒(méi)有任何東西需要在任何時(shí)候或不斷地進(jìn)行模型與環(huán)境之間的測(cè)量。也就是說(shuō)，自動(dòng)化過(guò)程不需要執(zhí)行反向傳播來(lái)學(xué)習(xí)。自動(dòng)化過(guò)程可能是做一些其他事情以改進(jìn)其內(nèi)部模型。
?
其他一些東西，我們稱(chēng)之為“想象或夢(mèng)想”，不需要直接的現(xiàn)實(shí)驗(yàn)證。我們目前最典型的就是生成對(duì)抗網(wǎng)絡(luò)（GAN）。GAN由兩個(gè)網(wǎng)絡(luò)組成，一個(gè)生成器和一個(gè)鑒別器。可以將鑒別器視為與目標(biāo)函數(shù)一致的神經(jīng)網(wǎng)絡(luò)。也就是說(shuō)，它使內(nèi)部生成器網(wǎng)絡(luò)得到現(xiàn)實(shí)驗(yàn)證。生成器是一種重現(xiàn)不斷趨近現(xiàn)實(shí)的自動(dòng)化過(guò)程。GAN使用反向傳播工作，它執(zhí)行無(wú)監(jiān)督學(xué)習(xí)。所以也許無(wú)監(jiān)督的學(xué)習(xí)不需要目標(biāo)函數(shù)，但是它仍然可能需要反向傳播。
?
另一種觀察無(wú)監(jiān)督學(xué)習(xí)的方法是一種元學(xué)習(xí)（meta-learning）。系統(tǒng)不需要監(jiān)督訓(xùn)練數(shù)據(jù)的一種可能性是，學(xué)習(xí)算法已經(jīng)開(kāi)發(fā)了自己的內(nèi)部模型，以便較好地進(jìn)行。換句話說(shuō)，仍然有一些監(jiān)督，它恰好隱含在學(xué)習(xí)算法中。學(xué)習(xí)算法如何賦予這種能力是一個(gè)很大的未知數(shù)。
?
總而言之，現(xiàn)在說(shuō)我們是否可以擺脫反向傳播還為時(shí)尚早。我們當(dāng)然可以使用一個(gè)不太嚴(yán)格的版本（即合成梯度或其他啟發(fā)式算法）。然而，漸近學(xué)習(xí)（gradual learning）或者說(shuō)爬山算法（hill climbing）似乎仍然是一個(gè)必要條件。我當(dāng)然會(huì)很有興趣找到任何使?jié)u近學(xué)習(xí)或爬山算法無(wú)效的研究。事實(shí)上，這類(lèi)似于宇宙的行為，更具體地說(shuō)就是熱力學(xué)第二定律。更具體地說(shuō)，該熵始終增加。信息引擎將降低自己的熵，以換取環(huán)境中的熵增加。因此，沒(méi)有辦法完全避免梯度。這樣做將需要一些“信息永動(dòng)機(jī)”（perpetual motion information machine）。
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/4606.html
摘要：然而反向傳播自誕生起，也受到了無(wú)數(shù)質(zhì)疑。主要是因?yàn)?，反向傳播機(jī)制實(shí)在是不像大腦。他集結(jié)了來(lái)自和多倫多大學(xué)的強(qiáng)大力量，對(duì)這些替代品進(jìn)行了一次評(píng)估。號(hào)選手，目標(biāo)差傳播，。其中來(lái)自多倫多大學(xué)和，一作和來(lái)自，來(lái)自多倫多大學(xué)。 32年前，人工智能、機(jī)器學(xué)習(xí)界的泰斗Hinton提出反向傳播理念，如今反向傳播已經(jīng)成為推動(dòng)深度學(xué)習(xí)爆發(fā)的核心技術(shù)。然而反向傳播自誕生起，也受到了無(wú)數(shù)質(zhì)疑。這些質(zhì)疑來(lái)自各路科學(xué)家...
摘要：近幾年以卷積神經(jīng)網(wǎng)絡(luò)有什么問(wèn)題為主題做了多場(chǎng)報(bào)道，提出了他的計(jì)劃。最初提出就成為了人工智能火熱的研究方向。展現(xiàn)了和玻爾茲曼分布間驚人的聯(lián)系其在論文中多次稱(chēng)，其背后的內(nèi)涵引人遐想。 Hinton 以深度學(xué)習(xí)之父 和 神經(jīng)網(wǎng)絡(luò)先驅(qū) 聞名于世，其對(duì)深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)的諸多核心算法和結(jié)構(gòu)（包括深度學(xué)習(xí)這個(gè)名稱(chēng)本身，反向傳播算法，受限玻爾茲曼機(jī)，深度置信網(wǎng)絡(luò)，對(duì)比散度算法，ReLU激活單元，Dropo...
摘要：有幾次，人工智能死在人工神經(jīng)網(wǎng)絡(luò)上。在過(guò)去十年中，他一直在舉辦為期一周的有關(guān)神經(jīng)網(wǎng)絡(luò)的暑期學(xué)校，我曾經(jīng)拜訪過(guò)。神經(jīng)網(wǎng)絡(luò)壓縮信息之后，這些信息無(wú)法復(fù)原。 魔法已經(jīng)進(jìn)入這個(gè)世界。如今，許多美國(guó)人口袋里裝著薄薄的黑色平板，這些機(jī)器接入遙遠(yuǎn)的數(shù)字云和衛(wèi)星，它們解碼語(yǔ)言、通過(guò)攝像頭觀察并標(biāo)記現(xiàn)實(shí)，挖掘個(gè)人數(shù)據(jù)，它們以某種方式理解、預(yù)測(cè)著我們的心愿。傾聽(tīng)、幫助著人類(lèi)。因?yàn)榕c多倫多大學(xué)有個(gè)約會(huì)，這個(gè)夏天，...
摘要：多加了這兩層卷積層和匯集層是卷積神經(jīng)網(wǎng)絡(luò)和普通舊神經(jīng)網(wǎng)絡(luò)的主要區(qū)別。卷積神經(jīng)網(wǎng)絡(luò)的操作過(guò)程那時(shí)，卷積的思想被稱(chēng)作權(quán)值共享，也在年和關(guān)于反向傳播的延伸分析中得到了切實(shí)討論。 導(dǎo)讀：這是《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史》第二部分，這一部分我們會(huì)了解BP算法發(fā)展之后一些取得迅猛發(fā)展的研究，稍后我們會(huì)看到深度學(xué)習(xí)的關(guān)鍵性基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)獲得視覺(jué)隨著訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的謎題被揭開(kāi)，這個(gè)話題再一次變得空前熱門(mén)，羅森...
摘要：本文試圖揭開(kāi)讓人迷惘的云霧，領(lǐng)悟背后的原理和魅力，品嘗這一頓盛宴。當(dāng)然，激活函數(shù)本身很簡(jiǎn)單，比如一個(gè)激活的全連接層，用寫(xiě)起來(lái)就是可是，如果我想用的反函數(shù)來(lái)激活呢也就是說(shuō)，你得給我解出，然后再用它來(lái)做激活函數(shù)。 由深度學(xué)習(xí)先驅(qū) Hinton 開(kāi)源的 Capsule 論文 Dynamic Routing Between Capsules，無(wú)疑是去年深度學(xué)習(xí)界最熱點(diǎn)的消息之一。得益于各種媒體的各種...
閱讀 2502·2021-09-22 15:27
閱讀 3270·2021-09-03 10:32
閱讀 3571·2021-09-01 11:38
閱讀 2551·2019-08-30 15:56
閱讀 2274·2019-08-30 13:01
閱讀 1588·2019-08-29 12:13
閱讀 1474·2019-08-26 13:33
閱讀 946·2019-08-26 13:30
