摘要：第一條是關(guān)于深度學(xué)習(xí)的晚宴，討論的是背后的數(shù)學(xué)支撐，以及未來(lái)的方向。大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力盡管當(dāng)場(chǎng)說(shuō)了很多觀點(diǎn)，但是最核心的還是援引了愛(ài)因斯坦關(guān)于上帝的隱喻。不過(guò)，我自己并不同意深度學(xué)習(xí)必須等同于機(jī)器蠻力。

Vladimir Vapnik 介紹：

Vladimir Vapnik 被稱為統(tǒng)計(jì)學(xué)習(xí)理論之父，他出生于俄羅斯，1990 年底移居美國(guó)，在美國(guó)貝爾實(shí)驗(yàn)室一直工作到 2002 年，之后加入了普林斯頓的 NEC 實(shí)驗(yàn)室機(jī)器學(xué)習(xí)研究組，同時(shí)任哥倫比亞大學(xué)特聘教授。2006 年，Vladimir 稱為美國(guó)工程院院士。2014年 Vladimir Vapnik 加入 Facebook 人工智能實(shí)驗(yàn)室。Vladimir Vapnik 在機(jī)器學(xué)習(xí)上有很多奠基之作，例如 Vapnik–Chervonenkis 理論，Vladimir 是主要發(fā)明者。

Facebook 去年底挖來(lái)了一個(gè)機(jī)器學(xué)習(xí)大神 Vladimir Vapnik，他是統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)的主要發(fā)明者。近日 Vladimir 在 Yandex（俄羅斯較大的搜索引擎公司）大會(huì)上發(fā)表了講話，重點(diǎn)討論了深度學(xué)習(xí)是否以蠻力取勝？

來(lái)自加利福尼亞大學(xué)圣地亞哥分校的 Zachary Chase Lipton 博士詳細(xì)記錄了會(huì)議內(nèi)容，并整理成文章如下：

上周，我來(lái)到柏林參加機(jī)器學(xué)習(xí)：展望和應(yīng)用大會(huì)。這個(gè)大會(huì)由 Yandex（俄羅斯較大的搜索引擎公司）舉辦，主要談了 Deep Learning 和 Intelligent Learning 兩個(gè)問(wèn)題，它們經(jīng)常作為對(duì)比的概念出現(xiàn)。

雖然我自己也是演講者之一，但是整個(gè)會(huì)議的高潮部分，還是關(guān)于深度學(xué)習(xí)的方法論，其中經(jīng)驗(yàn)主義和數(shù)學(xué)推理中的矛盾部分。

第一條是關(guān)于深度學(xué)習(xí)的晚宴，討論的是背后的數(shù)學(xué)支撐，以及未來(lái)的方向。問(wèn)題包括了模型的可解釋性和醫(yī)療領(lǐng)域的應(yīng)用。到了周三晚上，Vladimir Vapnik 也參與了討論，說(shuō)的是知識(shí)如何在不同的個(gè)體之間傳遞。Vladimir 的哲學(xué)觀橫跨了機(jī)器學(xué)習(xí)、數(shù)學(xué)和智能的源頭，并且挑戰(zhàn)了深度學(xué)習(xí)的方法論，這很有爭(zhēng)議。

其實(shí)在今年夏天，我就寫(xiě)文章說(shuō)機(jī)器學(xué)習(xí)的成功，是大數(shù)據(jù)時(shí)代經(jīng)驗(yàn)主義的勝利。在里面我強(qiáng)調(diào)說(shuō)，過(guò)度去擬合數(shù)據(jù)，雖然能在真實(shí)數(shù)據(jù)中得到檢驗(yàn)，但里面會(huì)有很大風(fēng)險(xiǎn)，至少比基于數(shù)學(xué)推理建立的系統(tǒng)風(fēng)險(xiǎn)大得多。在這次會(huì)議中，我聽(tīng)到了 Vladimir 在這方面的觀點(diǎn)。

為了避免混淆視聽(tīng)，我得強(qiáng)調(diào)：我是一個(gè)深度學(xué)習(xí)的實(shí)踐者。我個(gè)人并不否認(rèn)深度學(xué)習(xí)，而且對(duì)它的先行者和火炬手充滿尊敬。但我也同樣相信，我們應(yīng)該對(duì)深度學(xué)習(xí)的可能性抱有開(kāi)放性的態(tài)度：

即會(huì)有一些數(shù)學(xué)模型，能夠更好的指明未來(lái)發(fā)展方向，開(kāi)啟新的方法論。

很顯然，當(dāng)我們?nèi)ゾ捉篮拖@些觀點(diǎn)的時(shí)候，能夠得到很大的價(jià)值。

大數(shù)據(jù)與深度學(xué)習(xí)是一種蠻力？

盡管 Vapnik 當(dāng)場(chǎng)說(shuō)了很多觀點(diǎn)，但是最核心的還是援引了愛(ài)因斯坦關(guān)于上帝的隱喻。簡(jiǎn)單的說(shuō)，Vapnik 假設(shè)了一個(gè)理論，想法和直覺(jué)要么來(lái)自上帝，要么出自魔鬼。而區(qū)別在于，上帝是智慧的，而魔鬼往往不是。

在作為數(shù)學(xué)家和機(jī)器學(xué)習(xí)研究和踐行者的生涯中，Vapnik 得出了一個(gè)結(jié)論：魔鬼往往來(lái)自于蠻力（ Brute Force）。進(jìn)一步說(shuō)，如果承認(rèn)深度學(xué)習(xí)系統(tǒng)在解決問(wèn)題時(shí)不可思議的表現(xiàn)，那么大數(shù)據(jù)和深度學(xué)習(xí)，都有某種蠻力的味道。

（這時(shí)候一名觀眾提問(wèn)：進(jìn)化是否來(lái)自于蠻力？但 Vapnik 以不喜歡猜測(cè)為由拒絕給出回答。）

不過(guò)，我自己并不同意深度學(xué)習(xí)必須等同于機(jī)器蠻力。我們?nèi)缃褚材芸吹綄?duì)于大數(shù)據(jù)的觀點(diǎn)爭(zhēng)論，其中 Vapnik 和 Nathan Intrator 教授就說(shuō)，小孩不需要幾億的標(biāo)簽樣本以完成學(xué)習(xí)。雖然有大量帶有標(biāo)簽的數(shù)據(jù)時(shí)，學(xué)習(xí)會(huì)成為一件比較容易的事，但如果依賴這樣的方法，我們就錯(cuò)失了自然界中關(guān)于學(xué)習(xí)的基本原理。

也許，真正的學(xué)習(xí)只需要數(shù)百樣本，而我們現(xiàn)在卻只有非常大的數(shù)據(jù)量才能完成學(xué)習(xí)。如果我們不去探尋學(xué)習(xí)的本質(zhì)，那就說(shuō)屈從于懶惰。

深度學(xué)習(xí)還是深度工程？

我們現(xiàn)在的深度學(xué)習(xí)并非科學(xué)。確切的說(shuō)，機(jī)器學(xué)習(xí)和核心任務(wù)是理解計(jì)算本身，而現(xiàn)在的方法和它有所背離。這就好比任務(wù)是制造小提琴，而我們扮演的角色不過(guò)是小提琴演奏者，雖然也能創(chuàng)作美妙的音樂(lè)，也有演奏的直覺(jué)，但我們并不知道小提琴如何創(chuàng)造出音樂(lè)。

進(jìn)一步說(shuō)，很多深度學(xué)習(xí)實(shí)踐者，他們對(duì)數(shù)據(jù)和工程有很好的感覺(jué)，但其實(shí)不知道里頭是怎么回事。所以在目前的深度學(xué)習(xí)方法中，參數(shù)的調(diào)節(jié)方法依然是一門(mén)“藝術(shù)”，而非“工藝”。

在算法和模型上，我們是否能發(fā)明所有東西？

Vapnik 認(rèn)為，在機(jī)器學(xué)習(xí)的算法和模型上，我們并不能發(fā)明所有東西。他堅(jiān)持向現(xiàn)場(chǎng)觀眾說(shuō)，他自己并沒(méi)有如此的聰明才智，以完成這些算法模型的發(fā)明。（這似乎也在暗示，其他人也沒(méi)有那么聰明，去發(fā)明這些玩意）

按照 Vapnik 的意思，我們?cè)跈C(jī)器學(xué)習(xí)上發(fā)明的東西是微不足道的。真正重要的東西，來(lái)自于我們對(duì)數(shù)學(xué)本質(zhì)的理解。就深度學(xué)習(xí)來(lái)說(shuō)，模型經(jīng)常被發(fā)明出來(lái)，品牌化并申請(qǐng)專利，但這些相比于真正由數(shù)學(xué)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)，就顯得很一般了。

相關(guān)性科學(xué)和因果性科學(xué)

關(guān)于深度學(xué)習(xí)的反思，來(lái)自紐約州立大學(xué)的顧險(xiǎn)峰教授也有很多理解。前些時(shí)間顧險(xiǎn)峰教授給新智元投稿，談到了機(jī)器學(xué)習(xí)研究范式的變遷，以及背后不足的地方。

顧險(xiǎn)峰認(rèn)為，深度學(xué)習(xí)方法深刻地轉(zhuǎn)變了學(xué)術(shù)研究的范式。以前學(xué)者們所采用的觀察現(xiàn)象，提煉規(guī)律，數(shù)學(xué)建模，模擬解析，實(shí)驗(yàn)檢驗(yàn)，修正模型的研究套路被徹底顛覆，被數(shù)據(jù)科學(xué)的方法所取代：收集數(shù)據(jù)，訓(xùn)練網(wǎng)絡(luò)，實(shí)驗(yàn)檢驗(yàn)，加強(qiáng)訓(xùn)練。

在深度學(xué)習(xí)新方法下，嚴(yán)格的數(shù)學(xué)推理缺失了。比如說(shuō)地圖四色定理的證明，數(shù)學(xué)家將平面圖的構(gòu)型分成 1936 種，然后用計(jì)算機(jī)逐一驗(yàn)證。當(dāng)然在足夠的算力下，這可以證明地圖四色定理。但是在這個(gè)過(guò)程中：

沒(méi)有新穎概念提出，換言之，機(jī)械蠻力代替了幾何直覺(jué)。

而在數(shù)學(xué)歷史上，對(duì)于一個(gè)著名猜想的證明和解答，答案本身并不重要，在尋找證明的過(guò)程中所凝練的概念，提出的方法，發(fā)展的理論才是真正目的所在。機(jī)械定理證明驗(yàn)證了命題的真?zhèn)?，但是無(wú)法明確地提出新的概念和方法，實(shí)質(zhì)上背離了數(shù)學(xué)的真正目的。

所以說(shuō)，這是一種“相關(guān)性”而非“因果性”的科學(xué)。歷史上，人類積累科學(xué)知識(shí)，在初期總是得到“經(jīng)驗(yàn)公式”，但是最終還是尋求更為深刻本質(zhì)的理解。例如從煉丹術(shù)到化學(xué)，量子力學(xué)的發(fā)展歷程。

人類智能更為獨(dú)特之處也在于數(shù)學(xué)推理，特別是機(jī)械定理證明，對(duì)于這一點(diǎn)機(jī)器學(xué)習(xí)方法是無(wú)能為力的。當(dāng)人的數(shù)學(xué)推理缺失的時(shí)候，僅僅依靠機(jī)器蠻力，就會(huì)遇到很大的制約。