資訊專(zhuān)欄INFORMATION COLUMN
摘要：在過(guò)去五年里，我碰巧使用了一個(gè)收藏了篇機(jī)器學(xué)習(xí)論文的數(shù)據(jù)庫(kù)，這些論文都來(lái)自于。因此，本文將這五年間機(jī)器學(xué)習(xí)的發(fā)展趨勢(shì)進(jìn)行了簡(jiǎn)單的總結(jié)。我們得到了如下結(jié)果是的，年月份，接受了多篇與機(jī)器學(xué)習(xí)領(lǐng)域有關(guān)的論文。
機(jī)器學(xué)習(xí)的趨勢(shì)概述
如果你用過(guò)谷歌趨勢(shì)（Google Trends），你一定會(huì)發(fā)現(xiàn)它很酷——你輸入一些關(guān)鍵詞，你就能夠看到這些關(guān)鍵詞的谷歌搜索量是如何隨著時(shí)間而變化的。在過(guò)去五年里，我碰巧使用了一個(gè)收藏了28303篇機(jī)器學(xué)習(xí)論文的arxiv-sanity數(shù)據(jù)庫(kù)，這些論文都來(lái)自于arXiv。因此，本文將這五年間機(jī)器學(xué)習(xí)的發(fā)展趨勢(shì)進(jìn)行了簡(jiǎn)單的總結(jié)。
讓我們通過(guò)arxiv-sanity的類(lèi)別目錄 (cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)，首先看看提交的總論文數(shù)。我們得到了如下結(jié)果：
是的，2017年3月份，接受了2000多篇與機(jī)器學(xué)習(xí)領(lǐng)域有關(guān)的論文。并且，這些峰值很可能受到了會(huì)議截止時(shí)間（例如NIPS/ICML）的影響。請(qǐng)注意，這并不是有關(guān)于此領(lǐng)域本身規(guī)模的聲明，因?yàn)椴⒉皇撬腥硕紝⒄撐奶峤坏絘rXiv上。我們將提交的論文總數(shù)作為分母，來(lái)看看包含我們感興趣的某些關(guān)鍵詞的論文占了多少。
12大深度學(xué)習(xí)框架
首先，讓我們看看現(xiàn)在正在使用的深度學(xué)習(xí)框架。為了計(jì)算，我們記錄了在全文任何地方（包括參考文章等）提到過(guò)這些框架的論文，對(duì)于2017年3月上傳的論文，我們得到如下了結(jié)果：
我們可以看出，在2017年3月提交的所有論文中，有10%的論文提到了TensorFlow。當(dāng)然，并不是所有的論文都宣布了它們使用的框架。但是，如果我們假定宣布了此框架但實(shí)際上并沒(méi)有使用此框架的論文占有一些固定的隨機(jī)概率，那么大概有40%的社區(qū)正在使用TensorFlow。下面是一些流行的框架隨著時(shí)間的使用圖：
機(jī)器學(xué)習(xí)算法框架的使用程度分析
我們看到，Theano已經(jīng)出現(xiàn)一段時(shí)間了，但是它的使用增長(zhǎng)情況卻有些停滯不前。Caffe的使用在2014年爆發(fā)式地增長(zhǎng)，但是在過(guò)去幾個(gè)月被TensorFlow超越。Torch（和最近的PyTorch）使用情況也在上升，但較為緩慢，比較穩(wěn)定。在接下來(lái)的幾個(gè)月中，看這些趨勢(shì)如何變化也會(huì)很有趣。我認(rèn)為，Caffe/Theano 使用將會(huì)緩慢減少，由于PyTorch，TF的使用增長(zhǎng)將會(huì)上升地緩慢一些。
卷積模型：
有趣的是，如果我們看一下常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)，情況又如何呢？在這里，我們可以清楚的看到，循環(huán)神經(jīng)網(wǎng)絡(luò)的使用迅速飆升，在今年3月的論文中，循環(huán)神經(jīng)網(wǎng)絡(luò)的比例占到了9%。
優(yōu)化算法：
在優(yōu)化算法方面，似乎Adam算法很熱門(mén)，占到了23%！實(shí)際比例難以估計(jì)，它可能高于23%，因?yàn)橐恍┱撐臎](méi)有宣布它們所使用的優(yōu)化算法，并且很大一部分論文甚至可能沒(méi)有優(yōu)化任何神經(jīng)網(wǎng)絡(luò)；這一比例也可能降低約5%，因?yàn)椤癆dam”可能與某些作者的名字相同了……盡管Adam算法僅僅才發(fā)布了不到3年，但是的確很流行。
我也很好奇地繪出了深度學(xué)習(xí)中提到的一些具有較高PIs（類(lèi)似于引用次數(shù)，但是1）使用“0/1”實(shí)現(xiàn)計(jì)數(shù)，它更強(qiáng)大；2）它被歸一化）的圖，如下：
有幾件事需要注意：提交的論文中有35%提到了“bengio”，但是這里有兩個(gè)“bengio”：Samy和Yoshua，將他們也添加到了圖上。特別地， 有30%的新論文中提到了Geoff Hinton！
27個(gè)ML框架最熱門(mén)關(guān)鍵詞
有很多方法來(lái)定義最熱門(mén)關(guān)鍵詞。但是對(duì)于本實(shí)驗(yàn)，我查看了每篇論文中的一元或二元詞組，并記錄了它們相對(duì)于去年出現(xiàn)次數(shù)的較大比率。具體方式是記錄相關(guān)詞組去年的出現(xiàn)頻次，然后今年的出現(xiàn)頻次比去年高得多，比率=今年出現(xiàn)的頻次/去年出現(xiàn)的頻次。較大比率靠前的包括如下：
例如，ResNet的比率是8.17。這是因?yàn)橐荒昵?，所有提交的論文中，與ResNet有關(guān)的論文占1.004%（在2016年3月），但是2017年3月，所有提交的論文中，ResNet有關(guān)的論文占了8.53%，所以8.53 / 1.044 ~= 8.17。所以你可以得出如下結(jié)論：過(guò)去一年流行的核心創(chuàng)新包括1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm。在研究興趣方面，我們看到了1）興趣轉(zhuǎn)移，2）深度強(qiáng)化學(xué)習(xí)，3）神經(jīng)機(jī)器翻譯，可能還有4）圖像生成。在架構(gòu)上，熱點(diǎn)是1）全連接神經(jīng)網(wǎng)絡(luò)，2）LSTMs/GRUs，3）Siamese網(wǎng)絡(luò)，4）編碼解碼器網(wǎng)絡(luò)。
反之如何？過(guò)去一年，過(guò)去比較流行的論文方向現(xiàn)在開(kāi)始沒(méi)落了，這包括如下：
我不知道“fractal”是什么，但是更一般地說(shuō)，它就像貝葉斯非參數(shù)模型一樣正受到威脅。
調(diào)查結(jié)論：現(xiàn)在是時(shí)候提交用Adam優(yōu)化算法解決全連接神經(jīng)網(wǎng)絡(luò)編碼解碼器、用于Style Transfer的BatchNorm ResNet GAN等有關(guān)的論文了。
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/4515.html
摘要：深度學(xué)習(xí)框架作為熱身，我們先看一下深度學(xué)習(xí)框架。在年有急劇的增長(zhǎng)，但在過(guò)去幾個(gè)月被超越。 你是否使用過(guò) Google Trends？相當(dāng)?shù)目?，你在里面輸入關(guān)鍵詞，看一下谷歌搜索中這一詞條如何隨時(shí)間變化的。我想，過(guò)去 5 年中 arxiv-sanity 數(shù)據(jù)庫(kù)中剛好有 28303 篇機(jī)器學(xué)習(xí)論文，為什么不做一些類(lèi)似的工作，看一下過(guò)去 5 年機(jī)器學(xué)習(xí)研究有何進(jìn)化？結(jié)果相當(dāng)?shù)挠腥?，所以我把它貼了出...
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅(jiān)持使用通俗形象的語(yǔ)言給我的讀者朋友們講解機(jī)器學(xué)習(xí)深度學(xué)習(xí)的各個(gè)知識(shí)點(diǎn)。今天，紅色石頭特此將以前所有的原創(chuàng)文章整理出來(lái)，組成一個(gè)比較合理完整的機(jī)器學(xué)習(xí)深度學(xué)習(xí)的學(xué)習(xí)路線圖，希望能夠幫助到大家。 一年多來(lái)，公眾號(hào)【AI有道】已經(jīng)發(fā)布了 140+ 的原創(chuàng)文章了。內(nèi)容涉及林軒田機(jī)器學(xué)習(xí)課程筆記、吳恩達(dá) deeplearning.ai 課程筆記、機(jī)...
摘要：自從年深秋，他開(kāi)始在上撰寫(xiě)并公開(kāi)分享他感興趣的機(jī)器學(xué)習(xí)論文。本文選取了上篇閱讀注釋的機(jī)器學(xué)習(xí)論文筆記。希望知名專(zhuān)家注釋的深度學(xué)習(xí)論文能使一些很復(fù)雜的概念更易于理解。主要講述的是奧德賽因?yàn)榧づ撕Ｉ癫ㄙ惗喽兄聻?zāi)禍。 Hugo Larochelle博士是一名謝布克大學(xué)機(jī)器學(xué)習(xí)的教授，社交媒體研究科學(xué)家、知名的神經(jīng)網(wǎng)絡(luò)研究人員以及深度學(xué)習(xí)狂熱愛(ài)好者。自從2015年深秋，他開(kāi)始在arXiv上撰寫(xiě)并...
摘要：康納爾大學(xué)數(shù)學(xué)博士博士后則認(rèn)為，圖神經(jīng)網(wǎng)絡(luò)可能解決圖靈獎(jiǎng)得主指出的深度學(xué)習(xí)無(wú)法做因果推理的核心問(wèn)題。圖靈獎(jiǎng)得主深度學(xué)習(xí)的因果推理之殤年初，承接有關(guān)深度學(xué)習(xí)煉金術(shù)的辯論，深度學(xué)習(xí)又迎來(lái)了一位重要的批評(píng)者。 作為行業(yè)的標(biāo)桿，DeepMind的動(dòng)向一直是AI業(yè)界關(guān)注的熱點(diǎn)。最近，這家世界最較高級(jí)的AI實(shí)驗(yàn)室似乎是把他們的重點(diǎn)放在了探索關(guān)系上面，6月份以來(lái)，接連發(fā)布了好幾篇帶關(guān)系的論文，比如：關(guān)系歸...
閱讀 3629·2021-09-22 15:50
閱讀 3287·2019-08-30 15:54
閱讀 2815·2019-08-30 14:12
閱讀 3120·2019-08-30 11:22
閱讀 2144·2019-08-29 11:16
閱讀 3632·2019-08-26 13:43
閱讀 1262·2019-08-23 18:33
閱讀 977·2019-08-23 18:32
