亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

「深度神經(jīng)網(wǎng)絡(luò)」（deep neural network）具體是怎樣工作的？

X_AirDu / 3288人閱讀

摘要：微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)上取得突破，使其在性能上能趕上目前較先進的語音識別技術(shù)。上沒寫那個，不過我已經(jīng)不大懂了，順帶鏈接還有給的微軟原文鏈接以下為兩個回答何曉寧多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)（deep neural network）上取得突破，
使其在性能上能趕上目前較先進的語音識別技術(shù)。
http://software.solidot.org/article.pl?sid=11/08/29/0917205&from=rss

我只記得關(guān)于@李開復(fù) 的介紹里面說的很多用概率才能解決，包括語音識別，
那么這一次是什么原理，能深入淺出地講解嗎？求講課。。

Wiki 上沒寫那個 deep，不過我已經(jīng)不大懂了，順帶鏈接：
http://en.wikipedia.org/wiki/Neural_network
還有 Solidot 給的微軟原文鏈接：
https://research.microsoft.com/en-us/news/features/speechrecognition-082911.aspx

以下為兩個回答：

何曉寧：

多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問題是容易陷入局部極值點。如果訓(xùn)練樣本足夠充分覆蓋未來的樣 本，那么學(xué)到的多層權(quán)重可以很好的用來預(yù)測新的測試樣本。但是很多任務(wù)難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往 能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果（更好的泛化性，更差的訓(xùn)練誤差）。
非監(jiān)督學(xué)習(xí)中，以往沒有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特 征的高級表示，比如底層是像素點，上一層的結(jié)點可能表示橫線，三角； 而頂層可能有一個結(jié)點表示人臉。一個成功的算法應(yīng)該能讓生成的頂層特征較大化的代表底層的樣例。如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高； 如果每次訓(xùn)練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學(xué)習(xí)中相反的問題，會嚴重欠擬合。

2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個有效方法，簡單的說，分為兩步，一是每次訓(xùn)練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)使原始表示x向上生成的高級表示r和該高級表示r向下生成的x"盡可能一致。方法是
1，首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個單層網(wǎng)絡(luò)。
2， 當所有層訓(xùn)練完后，hinton使用wake-sleep算法進行調(diào)優(yōu)。將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個單層神經(jīng)網(wǎng)絡(luò)，而其 它層則變?yōu)榱藞D模型。向上的權(quán)重用于”認知“，向下的權(quán)重用于”生成“。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認知和生成達成一致，也就是 保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點。比如頂層的一個結(jié)點表示人臉，那么所有人臉的圖像應(yīng)該激活這個結(jié)點，并且這個結(jié)果向下生成的圖像應(yīng) 該能夠表現(xiàn)為一個大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個部分。
2.1，wake階段，認知過程，通過外界的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實跟我想像的不一樣，改變我的權(quán)重使得我想像的東西就是這樣的“。
2.2，sleep階段，生成過程，通過頂層表示（醒時學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時修改層間向上的權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認知權(quán)重使得這種景象在我看來就是這個概念“。

由于自動編碼器（auto-encoder，即上面說的神經(jīng)網(wǎng)絡(luò)。廣義上的自動編碼器指所有的從低級表示得到高級表示，并能從高級表示生成低級表示的近似的 結(jié)構(gòu)，狹義上指的是其中的一種，谷歌的貓臉識別用的）有聯(lián)想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說的算法也可以用于有監(jiān)督學(xué)習(xí)，訓(xùn)練時 y做為頂層網(wǎng)絡(luò)輸入的補充，應(yīng)用時頂層網(wǎng)絡(luò)生成y"。

匿名用戶：

人工神經(jīng)網(wǎng)絡(luò)是一個有很悠久歷史的結(jié)構(gòu), 應(yīng)該是在20世紀五十年代后期就出現(xiàn)了的. 經(jīng)過了很多年的發(fā)展, 依然有超多的局限, 比如訓(xùn)練時間長, 效率地下等等. 在19世紀的晚期, 又漸漸消失了.?

直 到近幾年, 由于Deep Learning的研究出現(xiàn)了比較大的突破, Deep Neural Network應(yīng)該是伴隨著Deep Learning一起出現(xiàn)的一種人工神經(jīng)網(wǎng)絡(luò)的重大改良. 其模擬了人腦的一些特性,比如人腦具有一個深度的結(jié)構(gòu),每深入一層就進行一次抽象, 認知的時候逐層進行, 逐層進行抽象. 這種結(jié)構(gòu)在解決一些復(fù)雜的問題的時候有非常明顯地突破性表現(xiàn). 突破了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法的很多局限, 是當下非常熱門的研究領(lǐng)域.
如果樓主感興趣, 可以自行搜索Deep Learning, 比如 wiki : http://en.wikipedia.org/wiki/Deep_learning
還有一個網(wǎng)站 http://deeplearning.net/tutorials/ 也有不少的內(nèi)容.

提問者提出的Deep Neural Network, 并非一定指某個特定的結(jié)構(gòu), 因為深度學(xué)習(xí)在人工神經(jīng)網(wǎng)絡(luò)上的改良有非常多種, 根據(jù)各個實際的應(yīng)用也有不同的改良方法, 可以更多地關(guān)注Deep Learning 即可.

挖個坑, 寫完期末最后一門企業(yè)系統(tǒng)架構(gòu)的作業(yè), 如果還沒有人來回答的話, 我就補充一些關(guān)于Deep Learning 的資料. 想看的記得提醒我...

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4287.html

相關(guān)文章

  • 深度學(xué)習(xí)調(diào)參入門，有哪些技巧？

    摘要：本文將分享一些自己關(guān)于深度學(xué)習(xí)模型調(diào)試技巧的總結(jié)思考以為主。不過以卷積神經(jīng)網(wǎng)絡(luò)為代表的深層神經(jīng)網(wǎng)絡(luò)一直被詬病，這對于模型在工業(yè)界的應(yīng)用推廣還是帶來了一定的阻礙。 作者楊軍，從事大規(guī)模機器學(xué)習(xí)系統(tǒng)研發(fā)及應(yīng)用相關(guān)工作。本文將分享一些自己關(guān)于深度學(xué)習(xí)模型調(diào)試技巧的總結(jié)思考（以CNN為主）。最近因為一些需要，參與了一些CNN建模調(diào)參的工作，出于個人習(xí)性，我并不習(xí)慣于通過單純的trial-and-er...

    Developer 評論0 收藏0

  • Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理

    摘要：深度學(xué)習(xí)學(xué)習(xí)筆記整理系列作者聲明該的學(xué)習(xí)系列是整理自網(wǎng)上很大牛和機器學(xué)習(xí)專家所無私奉獻的資料的。但是自年以來，機器學(xué)習(xí)領(lǐng)域，取得了突破性的進展。 Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0? 2013-04-08聲明：1）該Deep Lea...

    Cheriselalala 評論0 收藏0

  • 128篇論文，21大領(lǐng)域，深度學(xué)習(xí)最值得看的資源全在這了

    摘要：對于大多數(shù)想上手深度學(xué)習(xí)的小伙伴來說，我應(yīng)當從那篇論文開始讀起這是一個亙古不變的話題。接下來的論文將帶你深入理解深度學(xué)習(xí)方法深度學(xué)習(xí)在前沿領(lǐng)域的不同應(yīng)用。 對于大多數(shù)想上手深度學(xué)習(xí)的小伙伴來說，我應(yīng)當從那篇論文開始讀起？這是一個亙古不變的話題。而對那些已經(jīng)入門的同學(xué)來說，了解一下不同方向的論文，也是不時之需。有沒有一份完整的深度學(xué)習(xí)論文導(dǎo)引，讓所有人都可以在里面找到想要的內(nèi)容呢？有！今天就給...

    tracymac7 評論0 收藏0

  • 《DeepLearning.ai 深度學(xué)習(xí)筆記》發(fā)布，黃海廣博士整理

    摘要：在這堂課中，學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ)，學(xué)會構(gòu)建神經(jīng)網(wǎng)絡(luò)，包括和等。課程中也會有很多實操項目，幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù)，解決真實世界問題。 深度學(xué)習(xí)入門首推課程就是吳恩達的深度學(xué)習(xí)專項課程系列的 5 門課。該專項課程最大的特色就是內(nèi)容全面、通俗易懂并配備了豐富的實戰(zhàn)項目。今天，給大家推薦一份關(guān)于該專項課程的核心筆記！這份筆記只能用兩個字形容：全面！ showImg(...

    wenhai.he 評論0 收藏0

  • 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史第四部分：深度學(xué)習(xí)終迎偉大復(fù)興

    摘要：主流機器學(xué)習(xí)社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣寡然。對于深度學(xué)習(xí)的社區(qū)形成有著巨大的影響。然而，至少有兩個不同的方法對此都很有效應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的簡單梯度下降適用于信號和圖像，以及近期的逐層非監(jiān)督式學(xué)習(xí)之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分，我們會來到故事的尾聲并一睹神經(jīng)網(wǎng)絡(luò)如何在上世紀九十年代末擺脫頹勢并找回自己，也會看到自此以后它獲得的驚人先進成果?！冈噯枡C器學(xué)習(xí)領(lǐng)域的任何一人，是什...

    Simon_Zhou 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<