亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Deep Learning 一些標(biāo)志性的文章

iKcamp / 2932人閱讀

摘要：的堆疊起來構(gòu)成，其中訓(xùn)練較高層的時(shí)加入了。作為非線性降維方法在圖像和文本降維實(shí)驗(yàn)中明顯優(yōu)于傳統(tǒng)方法。根據(jù)實(shí)驗(yàn)提出了對的的一種解釋。設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證兩種因素的作用。傳統(tǒng)算法并不是以較大化為目標(biāo)的，另有證明算法不對應(yīng)任何優(yōu)化目標(biāo)函數(shù)

A?Fast?Learning?Algorithm?for?Deep?Belief?Nets?(2006)
-?首 次提出layerwise?greedy?pretraining的方法，開創(chuàng)deep?learning方向。 layerwise?pretraining的Restricted?Boltzmann?Machine?(RBM)堆疊起來構(gòu)成 Deep?Belief?Network?(DBN)，其中訓(xùn)練較高層的RBM時(shí)加入了label。之后對整個(gè)DBN進(jìn)行fine-tuning。在 MNIST數(shù)據(jù)集上測試沒有嚴(yán)重過擬合，得到了比Neural?Network?(NN)更低的test?error。

Reducing?the?Dimensionality?of?Data?with?Neural?Networks?(2006)
-?提 出deep?autoencoder，作為數(shù)據(jù)降維方法發(fā)在Science上。Autoencoder是一類通過最小化函數(shù)集對訓(xùn)練集數(shù)據(jù)的重構(gòu)誤差，自 適應(yīng)地編解碼訓(xùn)練數(shù)據(jù)的算法。Deep?autoencoder模型用Contrastive?Divergence?(CD)算法逐層訓(xùn)練重構(gòu)輸入數(shù)據(jù) 的RBM，堆疊在一起fine-tuning最小化重構(gòu)誤差。作為非線性降維方法在圖像和文本降維實(shí)驗(yàn)中明顯優(yōu)于傳統(tǒng)方法。

Learning?Deep?Architectures?for?AI?(2009)
-?Bengio關(guān)于deep?learning的tutorial，從研究背景到RBM和CD再到數(shù)種deep?learning算法都有詳細(xì)介紹。還有豐富的reference。于是也有個(gè)缺點(diǎn)就是太長了。

A?Practical?Guide?to?Training?Restricted?Boltzmann?Machines?(2010)
-?如果想要自己實(shí)現(xiàn)deep?learning算法，這篇是不得不看的。我曾經(jīng)試過自己寫但是效果很不好，后來看到它才知道算法實(shí)現(xiàn)中還有很多重要的細(xì)節(jié)。對照網(wǎng)上的代碼看也能更好地理解代碼。

Greedy?Layer-Wise?Training?of?Deep?Networks?(2007)
-?對DBN的一些擴(kuò)展，比如應(yīng)用于實(shí)值輸入等。根據(jù)實(shí)驗(yàn)提出了對deep?learning的performance的一種解釋。

Why?Does?Unsupervised?Pre-training?Help?Deep?Learning??(2010)
-?總結(jié)了對deep?learning的pretraining作用的兩種解釋：regularization和help?optimization。設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證兩種因素的作用。

Autoencoders,?Unsupervised?Learning,?and?Deep?Architectures?(2011)
-?從理論角度對不同的Autoencoders作了統(tǒng)一分析的嘗試。

On?the?Quantitative?Analysis?of?Deep?Belief?Networks?(2008)
-?用annealed?importance?sampling?(AIS)給出一種估計(jì)RBM的partition?function的方法，從而能夠估算p(x)以及比較不同的DBN。

Training?Restricted?Boltzmann?Machines?using?Approximations?to?the?Likelihood?Gradient?(2008)
-?提 出用persistent?contrastive?divergence?(PCD)算法逼近 maximum?likelihood?estimation的目標(biāo)，從而可以得到更好的generative?model。傳統(tǒng)CD算法并不是以較大化 p(x)為目標(biāo)的，另有paper證明CD算法不對應(yīng)任何優(yōu)化目標(biāo)函數(shù)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4279.html

相關(guān)文章

  • Deep Belief Networks資料匯總

    摘要：畢設(shè)做的是的相關(guān)研究，翻過一些資料，在此做個(gè)匯總。深度學(xué)習(xí)的介紹性文章，可做入門材料。可以當(dāng)作深度學(xué)習(xí)的學(xué)習(xí)材料。一份訓(xùn)練的較佳實(shí)踐。闡述了非監(jiān)督預(yù)訓(xùn)練的作用。這篇博客給出的材料更加全面，作者來自復(fù)旦大學(xué)，現(xiàn)似乎是在北京研究院工作。 畢設(shè)做的是DBNs的相關(guān)研究，翻過一些資料，在此做個(gè)匯總。 可以通過谷歌學(xué)術(shù)搜索來下載這些論文。 Arel, I., Rose,...

    WilsonLiu95 評論0 收藏0

  • 關(guān)于深度學(xué)習(xí)(deep learning)

    摘要：在每一層學(xué)習(xí)到的結(jié)果表示作為下一層的輸入用監(jiān)督訓(xùn)練來調(diào)整所有層加上一個(gè)或者更多的用于產(chǎn)生預(yù)測的附加層當(dāng)前，國外在這方面的研究就是三分天下的局面，的與微軟合作，的和合作，以及的計(jì)算機(jī)科學(xué)家和。深度學(xué)習(xí)的入門材料。 轉(zhuǎn)載自：http://doctorimage.cn/2013/01/04/%e5%85%b3%e4%ba%8e%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0...

    ZweiZhao 評論0 收藏0

  • 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史第四部分：深度學(xué)習(xí)終迎偉大復(fù)興

    摘要：主流機(jī)器學(xué)習(xí)社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣寡然。對于深度學(xué)習(xí)的社區(qū)形成有著巨大的影響。然而，至少有兩個(gè)不同的方法對此都很有效應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的簡單梯度下降適用于信號和圖像，以及近期的逐層非監(jiān)督式學(xué)習(xí)之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分，我們會(huì)來到故事的尾聲并一睹神經(jīng)網(wǎng)絡(luò)如何在上世紀(jì)九十年代末擺脫頹勢并找回自己，也會(huì)看到自此以后它獲得的驚人先進(jìn)成果?！冈噯枡C(jī)器學(xué)習(xí)領(lǐng)域的任何一人，是什...

    Simon_Zhou 評論0 收藏0

  • 機(jī)器學(xué)習(xí)——深度學(xué)習(xí)(Deep Learning)

    摘要：有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)，分類回歸，密度估計(jì)聚類，深度學(xué)習(xí)，，有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)給定一組數(shù)據(jù)，為，。由于不需要事先根據(jù)訓(xùn)練數(shù)據(jù)去聚類器，故屬于無監(jiān)督學(xué)習(xí)。 Deep Learning是機(jī)器學(xué)習(xí)中一個(gè)非常接近AI的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，最近研究了機(jī)器學(xué)習(xí)中一些深度學(xué)習(xí)的相關(guān)知識，本文給出一些很有用的資料和心得。Key Words：有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)，分類...

    Guakin_Huang 評論0 收藏0

  • Deep learning的一些教程

    摘要：還有一些以后補(bǔ)充。十分推薦更多的教程斯坦福的公開課教學(xué)語言是。加盟百度前，余凱博士在美國研究院擔(dān)任部門主管，領(lǐng)導(dǎo)團(tuán)隊(duì)在機(jī)器學(xué)習(xí)圖像識別多媒體檢索視頻監(jiān)控，以及數(shù)據(jù)挖掘和人機(jī)交互等方面的產(chǎn)品技術(shù)研發(fā)。 轉(zhuǎn)載自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ ? Stanford Deep Learning wiki: htt...

    SimpleTriangle 評論0 收藏0

發(fā)表評論

0條評論

最新活動(dòng)
閱讀需要支付1元查看
<