摘要：深度學(xué)習(xí)較其他機(jī)器學(xué)習(xí)方法在各類任務(wù)中都表現(xiàn)優(yōu)異，各個(gè)機(jī)構(gòu)或院校也花了巨大的精力和時(shí)間投入到深度學(xué)習(xí)，并取得了令人驚嘆的成就。因此本文力圖闡述深度學(xué)習(xí)的局限性，引發(fā)更多對(duì)深度學(xué)習(xí)的思考。

深度學(xué)習(xí)較其他機(jī)器學(xué)習(xí)方法在各類任務(wù)中都表現(xiàn)優(yōu)異，各個(gè)機(jī)構(gòu)或院校也花了巨大的精力和時(shí)間投入到深度學(xué)習(xí)，并取得了令人驚嘆的成就。但深度學(xué)習(xí)近來(lái)也暴露出其內(nèi)在缺陷，很多學(xué)界領(lǐng)軍人物都在積極探討解決辦法和替代方案。因此本文力圖闡述深度學(xué)習(xí)的局限性，引發(fā)更多對(duì)深度學(xué)習(xí)的思考。

人工智能已經(jīng)達(dá)到了炒作的頂峰。新聞報(bào)告稱有的公司已經(jīng)使用 IBM Watson 取代了工人、算法在診斷上擊敗了職業(yè)醫(yī)生。每天都會(huì)有新的人工智能創(chuàng)業(yè)公司出現(xiàn)，宣稱能使用機(jī)器學(xué)習(xí)取代你的私人和商業(yè)難題。

榨汁機(jī)、Wi-Fi 路由器這樣普通的物品也忽然宣稱是「由人工智能驅(qū)動(dòng)」。智能的站立式桌子不僅能記住你調(diào)節(jié)的高度，也能為你點(diǎn)餐。

許多有關(guān)人工智能的喧嘩都由那些從未訓(xùn)練過(guò)神經(jīng)網(wǎng)絡(luò)的記者，創(chuàng)業(yè)公司或者從未真正解決過(guò)商業(yè)難題卻想要被高價(jià)聘請(qǐng)的編程人才所發(fā)出的。所以，有關(guān)人工智能的能力與限制，難免有如此多的誤解。

深度學(xué)習(xí)無(wú)疑使人興奮

神經(jīng)網(wǎng)絡(luò)創(chuàng)造于上世紀(jì) 60 年代，但近年來(lái)大數(shù)據(jù)和計(jì)算能力的增加使得它們?cè)趯?shí)際上變得有用。于是，一種名為「深度學(xué)習(xí)」的新的學(xué)科出現(xiàn)，它能使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)以前所未有的準(zhǔn)確率建模數(shù)據(jù)中的模式。

結(jié)果無(wú)疑使人驚訝。計(jì)算機(jī)如今能比人類更好地識(shí)別圖像和視頻中的物體以及將語(yǔ)音轉(zhuǎn)錄為文本。谷歌就用神經(jīng)網(wǎng)絡(luò)取代了谷歌翻譯的架構(gòu)，如今機(jī)器翻譯的水平已經(jīng)很接近人類了。

深度學(xué)習(xí)在實(shí)際應(yīng)用中也令人興奮。計(jì)算機(jī)能夠比 USDA 更好的預(yù)測(cè)農(nóng)作物產(chǎn)量，比醫(yī)師更準(zhǔn)確的診斷癌癥。DARPA 的主任 John Launchbury 曾這樣描述人工智能的三個(gè)浪潮：

像 IBM 的深藍(lán)或 Watson 這樣的人工編碼知識(shí)或?qū)＜蚁到y(tǒng)；

統(tǒng)計(jì)學(xué)習(xí)，包括機(jī)器學(xué)習(xí)與深度學(xué)習(xí)；

環(huán)境自適應(yīng)，涉及到使用稀疏數(shù)據(jù)為真實(shí)的世界現(xiàn)象構(gòu)建可靠的、可解釋的模型，就像人類一樣。

作為目前人工智能浪潮的第二波，深度學(xué)習(xí)算法因?yàn)?Launchbury 所說(shuō)的「流形假設(shè)（manifold hypothesis）」（見(jiàn)下圖）而更加有效。簡(jiǎn)單解釋，它指代不同類型的高維自然數(shù)據(jù)如何聚成一塊，并在低維可視化中有不同的形狀。

通過(guò)數(shù)學(xué)運(yùn)算并分割數(shù)據(jù)塊，深度神經(jīng)網(wǎng)絡(luò)能區(qū)分不同的數(shù)據(jù)類型。雖然神經(jīng)網(wǎng)絡(luò)能夠取得精妙的分類與預(yù)測(cè)能力，它們基本上還是 Launchbury 所說(shuō)的「spreadsheets on steroids」。

深度學(xué)習(xí)也有深度難題

在最近的 AI By The Bay 大會(huì)上，F(xiàn)rancois Chollet 強(qiáng)調(diào)深度學(xué)習(xí)是比以前的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法更為強(qiáng)大的模式識(shí)別方法?！溉斯ぶ悄苋缃褡钪匾膯?wèn)題是抽象和推理，」Google 的人工智能研究員 Chollet 解釋到，他是著名的深層學(xué)習(xí)庫(kù) Keras 的構(gòu)建者。他說(shuō)：「目前的監(jiān)督感知和強(qiáng)化學(xué)習(xí)算法需要大量的數(shù)據(jù)，在長(zhǎng)遠(yuǎn)規(guī)劃中是很難實(shí)現(xiàn)的，這些算法只能做簡(jiǎn)單的模式識(shí)別?！?/p>

相比之下，人類「從很少的案例中學(xué)習(xí)，可以進(jìn)行長(zhǎng)遠(yuǎn)規(guī)劃，他們能夠形成一種情境的抽象模型，并 [操縱] 這些模型實(shí)現(xiàn)極致的泛化。

即使是簡(jiǎn)單的人類行為，也很難教授給深度學(xué)習(xí)算法。例如我們需要學(xué)習(xí)在路上避免被汽車撞上，如果使用監(jiān)督學(xué)習(xí)，那就需要巨量的汽車情境數(shù)據(jù)集，且明確標(biāo)注了動(dòng)作（如「停止」或「移動(dòng)」），然后你需要訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)映射不同的情況和對(duì)應(yīng)的行動(dòng)。

如果采用強(qiáng)化學(xué)習(xí)，那你需要給算法一個(gè)目標(biāo)，讓它獨(dú)立地確定理想的行動(dòng)。為學(xué)習(xí)到在不同情況下躲避汽車，計(jì)算機(jī)可能需要先被撞上千次。Chollet 警告說(shuō)：「僅僅通過(guò)擴(kuò)大今天的深度學(xué)習(xí)技術(shù)，我們無(wú)法實(shí)現(xiàn)通用智能。

躲避汽車，人類只需要告知一次就行。我們具有從簡(jiǎn)單少量的例子中概括出事物的能力，并且能夠想象（即模擬）操作的后果。我們不需要失去生命或肢體，就能很快學(xué)會(huì)避免被車撞上。

雖然神經(jīng)網(wǎng)絡(luò)在大樣本量上達(dá)到統(tǒng)計(jì)學(xué)上令人驚訝成果，但它們「對(duì)個(gè)例不可靠」，并且經(jīng)常會(huì)導(dǎo)致人類永遠(yuǎn)不會(huì)出現(xiàn)的錯(cuò)誤，如將牙刷分類為棒球棒。

結(jié)果與數(shù)據(jù)一樣好。輸入不準(zhǔn)確或不完整數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)將產(chǎn)生錯(cuò)誤的結(jié)果，輸出結(jié)果可能既尷尬又有害。在兩個(gè)最出名的缺陷中，Google 圖像錯(cuò)誤地將非洲裔美國(guó)人分類為大猩猩，而微軟的 Tay 在 Twitter 上學(xué)習(xí)了幾個(gè)小時(shí)后，就出現(xiàn)了種族主義以及歧視女性的言論。

我們的輸入數(shù)據(jù)中隱含有不期望的偏差。Google 的大規(guī)模 Word2Vec 嵌入是在 Google 新聞的 300 萬(wàn)字基礎(chǔ)上建立的。數(shù)據(jù)集中含有諸如「男性成為醫(yī)生，女性成為護(hù)士」這樣的性別偏見(jiàn)關(guān)聯(lián)。研究人員，如波士頓大學(xué)的 Tolga Bolukbasi，已經(jīng)采取了在 Mechanical Turk 上進(jìn)行人類評(píng)級(jí)的方式執(zhí)行「hard de-biasing」來(lái)撤銷這種關(guān)聯(lián)。

這樣的策略是至關(guān)重要的，因?yàn)楦鶕?jù) Bolukbasi 的說(shuō)法，「詞嵌入不僅反映了刻板印象，同時(shí)還會(huì)擴(kuò)大它們」。如果「醫(yī)生」代表的男性比女性更多，那么算法可能在開(kāi)放醫(yī)師職位上將男性求職者定義優(yōu)先于女性求職者。

最后，生成對(duì)抗網(wǎng)絡(luò)（GAN）的提出者 Ian Goodfellow 表明，神經(jīng)網(wǎng)絡(luò)可能被對(duì)抗性樣本故意地欺騙。通過(guò)人眼不可見(jiàn)的方式在數(shù)學(xué)上處理圖像，復(fù)雜的攻擊者可以欺騙神經(jīng)網(wǎng)絡(luò)產(chǎn)生嚴(yán)重錯(cuò)誤的分類。

深度學(xué)習(xí)之外是什么？

我們?nèi)绾慰朔疃葘W(xué)習(xí)的局限性，并朝著通用人工智能邁進(jìn)？Chollet 初步的計(jì)劃包括使用「超級(jí)人類模式識(shí)別（如深度學(xué)習(xí)）增強(qiáng)顯式搜索和正式系統(tǒng)」，并且他準(zhǔn)備從數(shù)學(xué)證明的角度開(kāi)始。自動(dòng)定理證明（ATP）通常使用 brute force 算法進(jìn)行搜索，而這很快就會(huì)導(dǎo)致在實(shí)際使用中的組合暴漲。在 DeepMath 項(xiàng)目中，Chollet 和他的同事們使用深度學(xué)習(xí)輔助證明搜索過(guò)程，他們模擬數(shù)學(xué)家的直覺(jué)，即使用哪一類引理（證明中的輔助或中間定理）證明可能是對(duì)的。

另一種方法是開(kāi)發(fā)更加可解釋性的模型。在手寫(xiě)字體識(shí)別中，神經(jīng)網(wǎng)絡(luò)目前需要對(duì)幾萬(wàn)到幾十萬(wàn)個(gè)樣本進(jìn)行訓(xùn)練才能得出較為優(yōu)良的分類。然而，DARPA 的 Launchbury 并不僅僅關(guān)注像素，他解釋道生成模型能學(xué)習(xí)在任何給定字符后面的筆畫(huà)，并能使用這種物理結(jié)構(gòu)信息來(lái)消除類似數(shù)字間的歧義，如 9 或 4。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的推動(dòng)者，F(xiàn)acebook 的人工智能研究主管 Yann LeCun 提出了「基于能量的模型（energy-based models）」，該模型是克服深度學(xué)習(xí)限制的一種方法。通常，訓(xùn)練神經(jīng)網(wǎng)絡(luò)以得出單個(gè)輸出，如照片分類標(biāo)簽或翻譯的句子。而 LeCun 的基于能量模型（energy-based models）反而給出一整組可能的輸出，如句子所有可能的翻譯方式和每個(gè)配置的分?jǐn)?shù)。

深度學(xué)習(xí)的推動(dòng)者 Geoffrey Hinton 希望使用「capsules」代替神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，他相信其能更準(zhǔn)確地反映人類思維中的皮層結(jié)構(gòu)。Hinton 解釋道：「進(jìn)化一定已經(jīng)找到了一種有效的方法適應(yīng)感知通路的早期特征，所以它們更有助于以后幾個(gè)階段的特征處理?！顾Ｍ?capsule-based 神經(jīng)網(wǎng)絡(luò)架構(gòu)將更能抵抗 Goodfellow 上面所提到的對(duì)抗性樣本攻擊。

也許所有這些克服深度學(xué)習(xí)限制的方法都具有真實(shí)價(jià)值，也許都沒(méi)有。只有時(shí)間和持續(xù)的人工智能研究才能撥開(kāi)一切迷霧。?

原文地址：https://venturebeat.com/2017/04/02/understanding-the-limits-of-deep-learning/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754