資訊專欄INFORMATION COLUMN
摘要：深度學習的核心問題就是一個非常難的優(yōu)化問題。所以在神經(jīng)網(wǎng)絡(luò)引入后的幾十年間，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題的困難性是阻礙它們成為主流的一個重要因素。因此我們對機器學習研究人員嘗試找到可證明地解決深度神經(jīng)網(wǎng)絡(luò)優(yōu)化問題的算法不抱有太大的希望。
深度學習的核心問題就是一個非常難的優(yōu)化問題。所以在神經(jīng)網(wǎng)絡(luò)引入后的幾十年間，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題的困難性是阻礙它們成為主流的一個重要因素。并導致了它們在20世紀90年代到21世紀初期間的衰落。不過現(xiàn)在已經(jīng)基本解決了這個問題。在本篇博文中，我會探討優(yōu)化神經(jīng)網(wǎng)絡(luò)的“困難性”，以及理論上是怎么解釋這個問題的。簡而言之：神經(jīng)網(wǎng)絡(luò)變得越深，優(yōu)化問題就會變得越難。
最簡單的神經(jīng)網(wǎng)絡(luò)是單節(jié)點感知器，其優(yōu)化問題是凸問題。凸優(yōu)化問題的好處是所有的局部最小值也是全局最小值。存在各種各樣的優(yōu)化算法來解決凸優(yōu)化問題，并且每隔幾年就會發(fā)現(xiàn)更好的用于凸優(yōu)化的多項式時間的算法。使用凸優(yōu)化算法可以輕松地優(yōu)化單個神經(jīng)元的權(quán)重（參見下圖）。下面讓我們看看擴展一個單神經(jīng)元后會發(fā)生什么。
圖1 左圖：一個凸函數(shù)。右圖：一個非凸函數(shù)。凸函數(shù)比非凸函數(shù)更容易找到函數(shù)曲面的底部（來源：Reza Zadeh）
下一步自然就是在保持單層神經(jīng)網(wǎng)絡(luò)的情況下添加更多的神經(jīng)元。對于單層n節(jié)點感知器的神經(jīng)網(wǎng)絡(luò)，如果存在邊權(quán)重可以使得神經(jīng)網(wǎng)絡(luò)能正確地對訓練集進行分類，那么這樣的邊權(quán)重是可以通過線性規(guī)劃在多項式時間O(n)內(nèi)找到。線性規(guī)劃也是凸優(yōu)化的一種特殊情況。這時一個問題應(yīng)運而生：我們可以對更深的多層神經(jīng)網(wǎng)絡(luò)做出這種類似的保證么？不幸的是，不能。
為了可證明地解決兩層或多層的一般神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題，需要的算法將會遇到某些計算機科學中較大的未解問題。因此我們對機器學習研究人員嘗試找到可證明地解決深度神經(jīng)網(wǎng)絡(luò)優(yōu)化問題的算法不抱有太大的希望。因為這個優(yōu)化問題是NP-hard問題，這意味著如果在多項式時間內(nèi)可證明地解決這個問題，那么也可以解決那些幾十年來尚未被解決的成千上萬的問題。事實上，J. Stephen Judd在1988年就發(fā)現(xiàn)下面這個問題是NP-hard問題：
給定一個一般的神經(jīng)網(wǎng)絡(luò)和一組訓練樣本，是否存在一組網(wǎng)絡(luò)邊權(quán)重使得神經(jīng)網(wǎng)絡(luò)能為所有的訓練樣本產(chǎn)生正確的輸出？
Judd的研究還表明：即使要求一個神經(jīng)網(wǎng)絡(luò)只為三分之二的訓練樣本產(chǎn)生正確的輸出仍然是一個NP-hard問題。這意味著即使在最壞的情況下，近似訓練一個神經(jīng)網(wǎng)絡(luò)在本質(zhì)上還是困難的。1993年Blum和Rivest發(fā)現(xiàn)的事實更糟：即使一個只有兩層和三個節(jié)點的簡單神經(jīng)網(wǎng)絡(luò)的訓練優(yōu)化問題仍然是NP-hard問題。
理論上，深度學習與機器學習中的很多相對簡單的模型（例如支持向量機和邏輯回歸模型）的區(qū)別在于，這些簡單模型可以數(shù)學證明地在多項式時間內(nèi)完成模型優(yōu)化。對于這些相對簡單的模型，我們可以保證即使用運行時間比多項式時間更長的優(yōu)化算法也都不能找到更好的模型。但是現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法并不能提供這樣的保證。在你訓練完一個深度神經(jīng)網(wǎng)絡(luò)模型之后，你并不知道這個網(wǎng)絡(luò)模型是否是在你的當前配置下能找到的最優(yōu)的一個模型。所以你會存有疑慮，如果繼續(xù)訓練模型的話是否可以得到一個更好的模型。
幸運的是我們在實踐中可以非常高效地接近這些最優(yōu)結(jié)果：通過運行經(jīng)典的梯度下降優(yōu)化方法就可以得到足夠好的局部最小值，從而可以使我們在許多常見問題上取得巨大進步，例如圖像識別、語音識別和機器翻譯。我們簡單地忽略最優(yōu)結(jié)果，并在時間允許的情況下盡可能多地進行梯度下降迭代。
似乎傳統(tǒng)的優(yōu)化理論結(jié)果是殘酷的，但我們可以通過工程方法和數(shù)學技巧來盡量規(guī)避這些問題，例如啟發(fā)式方法、增加更多的機器和使用新的硬件（如GPU）。一些研究工作正在積極地探索為什么理論結(jié)果很殘酷，但這些經(jīng)典的優(yōu)化算法卻工作得這么好。
深度學習能成功的因素遠遠不只克服優(yōu)化問題。神經(jīng)網(wǎng)絡(luò)的架構(gòu)、訓練數(shù)據(jù)的數(shù)量、損失函數(shù)和正則化等都對于能在機器學習任務(wù)中獲得高質(zhì)量的結(jié)果起著關(guān)鍵作用。在后續(xù)的博文中，我將會討論涵蓋這些方面的的理論成果，來解釋為什么神經(jīng)網(wǎng)絡(luò)在各種任務(wù)上工作得如此好。
Reza Zadeh
Reza Zadeh是斯坦福大學的兼職教授、Matroid創(chuàng)始人和首席執(zhí)行官。他的工作主要關(guān)注于機器學習、分布式計算和離散應(yīng)用數(shù)學。他曾在Miscrosoft和Databricks的技術(shù)顧問委員會任職。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4455.html
摘要：本文詳細討論了自然語言理解的難點，并進一步針對自然語言理解的兩個核心問題，詳細介紹了規(guī)則方法和深度學習的應(yīng)用。引言自然語言理解是人工智能的核心難題之一，也是目前智能語音交互和人機對話的核心難題。 摘要：自然語言理解是人工智能的核心難題之一，也是目前智能語音交互和人機對話的核心難題。之前寫過一篇文章自然語言理解，介紹了當時NLU的系統(tǒng)方案，感興趣的可以再翻一番，里面介紹過的一些內(nèi)容不再贅...
摘要：上周，在舊金山召開的人工智能國際較高級會議上，來自微軟亞洲研究院的鄭宇博士及其團隊的論文首創(chuàng)性的將時空數(shù)據(jù)與深度學習結(jié)合起來，利用時空深度殘差網(wǎng)絡(luò)用于預(yù)測城市人流問題。 上周，在舊金山召開的人工智能國際較高級會議AAAI 2017上，來自微軟亞洲研究院的鄭宇博士及其團隊的論文Deep Spatio-Temporal Residual Networks for Citywide Crowd F...
摘要：動態(tài)數(shù)據(jù)綁定的三個難點對象深度問題設(shè)置新對象是否能夠繼續(xù)響應(yīng)和考慮傳遞回調(diào)函數(shù)本文的目的在實踐中使用遞歸思想了解設(shè)計模式中的發(fā)布訂閱模式三大難點如果傳入?yún)?shù)對象是一個比較深的對象也就是其屬性值也可能是對象，那該怎么辦呢舉個例子。 動態(tài)數(shù)據(jù)綁定的三個難點: 對象深度問題 設(shè)置新對象是否能夠繼續(xù)響應(yīng)getter 和 setter 考慮傳遞回調(diào)函數(shù) 本文的目的 在實踐中使用遞歸思...
摘要：華為云，從到開發(fā)訓練模型，通過極快和極簡實現(xiàn)普惠現(xiàn)如今技術(shù)概念火爆落地應(yīng)用更是繁多，但開發(fā)呢是否困難到底有多痛據(jù)了解，大部分開發(fā)者的工作時間并不長，并且十有八九可能不是科班出身。 華為云EI ModelArts，從0到1開發(fā)訓練AI模型，通過極快和極簡實現(xiàn)普惠AI現(xiàn)如今 AI 技術(shù)、概念火爆、落地應(yīng)用更是繁多，但開發(fā)呢？是否困難？到底有多痛？據(jù)了解，大部分 AI 開發(fā)者的工作時間并不長...
摘要：忍者級別的函數(shù)操作對于什么是匿名函數(shù)，這里就不做過多介紹了。我們需要知道的是，對于而言，匿名函數(shù)是一個很重要且具有邏輯性的特性。通常，匿名函數(shù)的使用情況是創(chuàng)建一個供以后使用的函數(shù)。 JS 中的遞歸 遞歸, 遞歸基礎(chǔ), 斐波那契數(shù)列, 使用遞歸方式深拷貝, 自定義事件添加 這一次，徹底弄懂 JavaScript 執(zhí)行機制 本文的目的就是要保證你徹底弄懂javascript的執(zhí)行機制，如果...
閱讀 3354·2021-10-13 09:39
閱讀 2091·2021-09-27 13:36
閱讀 3144·2021-09-22 16:02
閱讀 2654·2021-09-10 10:51
閱讀 1647·2019-08-29 17:15
閱讀 1588·2019-08-29 16:14
閱讀 3649·2019-08-26 11:55
閱讀 2615·2019-08-26 11:50
