資訊專欄INFORMATION COLUMN
摘要：今日，在第屆神經(jīng)信息處理系統(tǒng)大會中，百度首席科學(xué)家吳恩達(dá)教授發(fā)表演講利用深度學(xué)習(xí)開發(fā)人工智能應(yīng)用的基本要點(diǎn)。為了方便讀者學(xué)習(xí)和收藏，雷鋒網(wǎng)特地把吳恩達(dá)教授的做為中文版。吳恩達(dá)先講述了常見的深度學(xué)習(xí)模型，然后再著分析端到端學(xué)習(xí)的具體應(yīng)用。
今日，在第 30 屆神經(jīng)信息處理系統(tǒng)大會（NIPS 2016）中，百度首席科學(xué)家吳恩達(dá)教授發(fā)表演講：《利用深度學(xué)習(xí)開發(fā)人工智能應(yīng)用的基本要點(diǎn)（Nuts and Bolts of Building Applications using Deep Learning）》。
為了方便讀者學(xué)習(xí)和收藏，雷鋒網(wǎng)特地把吳恩達(dá)教授的PPT 做為中文版。
此外，吳恩達(dá)教授曾在今年 9 月 24/25 日也發(fā)表過同為《Nuts and Bolts of Applying Deep Learning》的演講(1小時20分鐘)，以下是 YouTube 鏈接：
https://www.youtube.com/watch?v=F1ka6a13S9I
一、深度學(xué)習(xí)為何崛起
吳恩達(dá)在開場提到：深度學(xué)習(xí)為何這么火？
答案很簡單：
第一是因為規(guī)模正在推動深度學(xué)習(xí)的進(jìn)步。
從傳統(tǒng)算法到小型神經(jīng)網(wǎng)絡(luò)、中型神經(jīng)網(wǎng)絡(luò)最后演化為現(xiàn)在的大型神經(jīng)網(wǎng)絡(luò)。
第二：端到端學(xué)習(xí)的崛起
從下圖中的上半部分可以看出，傳統(tǒng)端到端學(xué)習(xí)是把實體數(shù)據(jù)表達(dá)成數(shù)字?jǐn)?shù)據(jù)，輸出數(shù)字值作為結(jié)果。如退昂識別最后以整數(shù)標(biāo)簽輸出為結(jié)果。
而現(xiàn)在的端對端學(xué)習(xí)更為直接純粹，如機(jī)器翻譯：輸入英語文本，輸出法語文本；語音識別：輸入音頻，輸出文本。但端對端學(xué)習(xí)需要大量的訓(xùn)練集。
吳恩達(dá)先講述了常見的深度學(xué)習(xí)模型，然后再著分析端到端學(xué)習(xí)的具體應(yīng)用。
二、主要的深度學(xué)習(xí)模型
普通神經(jīng)網(wǎng)絡(luò)
?順序模型 ? (1D ?順序) ?RNN, ?GRU, ?LSTM, ?CTC, ?注意力模型?
?圖像模型 ?2D 和 ?3D 卷積神經(jīng)網(wǎng)絡(luò)?
先進(jìn)/未來 技術(shù)：無監(jiān)督學(xué)習(xí)（稀疏編碼 ICA, ?SFA,）增強(qiáng)學(xué)習(xí)
三、端到端學(xué)習(xí)應(yīng)用案例：
語音識別
傳統(tǒng)模型：語音→運(yùn)算特征—（人工設(shè)計的 MFCC 特征）→音素識別器—（音素識別）→最終識別器→輸出。
端到端學(xué)習(xí)：音頻→學(xué)習(xí)算法→轉(zhuǎn)錄結(jié)果；在給定了足夠的有標(biāo)注數(shù)據(jù)（音頻、轉(zhuǎn)錄結(jié)果）時，這種方法的效果會很好。
自動駕駛
傳統(tǒng)模型：攝像頭圖像→檢測汽車+檢測行人→路徑規(guī)劃→方向控制。
端到端學(xué)習(xí)：攝像頭圖像→學(xué)習(xí)算法→方向控制。
自動駕駛對安全有極高要求，因此需要極高的較精確度。采取純粹的端到端學(xué)習(xí)十分有挑戰(zhàn)性。只在有足夠（x，y）的數(shù)據(jù)，來學(xué)習(xí)足夠復(fù)雜的函數(shù)的情況下，端到端學(xué)習(xí)才有效果。
四、機(jī)器學(xué)習(xí)策略
你經(jīng)常有很多改進(jìn) AI 系統(tǒng)的主意，應(yīng)該怎么做？好的戰(zhàn)略能避免浪費(fèi)數(shù)月精力做無用的事。
以語音識別為例，可以把原語音數(shù)據(jù)分割成：
60% 訓(xùn)練集（訓(xùn)練模型）
20% 開發(fā)集（開發(fā)過程中用于調(diào)參、驗證等步驟的數(shù)據(jù)集）
20% 測試集（測試時所使用的數(shù)據(jù)集）
這里面普及幾個概念：
人類水平的誤差與訓(xùn)練集的誤差之間的差距是可避免的偏差，這部分誤差可以通過進(jìn)一步的學(xué)習(xí)/模型調(diào)整優(yōu)化來避免。
訓(xùn)練集和開發(fā)集之間的差距稱為方差，其因為跑了不同的數(shù)據(jù)從而導(dǎo)致誤差率變化。
上述兩種偏差合在一起，就是偏差-方差權(quán)衡（bias-variance trade-off）。
機(jī)器學(xué)習(xí)的基本方案
自動數(shù)據(jù)合成示例
不同訓(xùn)練、測試集的分布
假設(shè)你想要為一個汽車后視鏡產(chǎn)品，開發(fā)語音識別系統(tǒng)。你有 5000 小時的普通語音數(shù)據(jù)，還有 10 小時的車內(nèi)數(shù)據(jù)。你怎么對數(shù)據(jù)分組呢？這是一個不恰當(dāng)?shù)姆绞剑?/p>
不同訓(xùn)練和測試集分配
更好的方式：讓開發(fā)和測試集來自同樣的分配機(jī)制。
五、機(jī)器學(xué)習(xí)新方案
普通人類、偏差、方差分析
人類的表現(xiàn)水平
當(dāng)機(jī)器學(xué)習(xí)在處理某項任務(wù)上比人類表現(xiàn)還差時，你經(jīng)常會看到最快的進(jìn)步。
機(jī)器學(xué)習(xí)超越人后，很快就會靠近貝葉斯最優(yōu)誤差線。
可以依靠人類的直覺：（i）人類提供加標(biāo)簽的數(shù)據(jù)。（ii）進(jìn)行錯誤分析，來理解人是怎么對樣本正確處理的（iii）預(yù)估偏差/方差。比如，一項圖像識別任務(wù)的訓(xùn)練誤差 8%， 開發(fā)誤差 10%，你應(yīng)該怎么處理？
六、人工智能產(chǎn)品管理
新的監(jiān)督DL算法的存在，意味著對使用 DL開發(fā)應(yīng)用的團(tuán)隊合作，我們在重新思考工作流程。產(chǎn)品經(jīng)理能幫助 AI 團(tuán)隊，優(yōu)先進(jìn)行最出成果的機(jī)器學(xué)習(xí)任務(wù)。比如，對于汽車噪音、咖啡館的談話聲、低帶寬音頻、帶口音的語音，你是應(yīng)該提高語音效果呢，還是改善延遲，縮小二進(jìn)制，還是做別的什么？
今天的人工智能能做什么呢？這里給產(chǎn)品經(jīng)理一些啟發(fā)：
如果一個普通人完成一項智力任務(wù)只需不到一秒的思考時間，我們很可能現(xiàn)在，或者不遠(yuǎn)的將來，用 AI 把該任務(wù)自動化。
對于我們觀察到的具體的、重復(fù)性的事件（比如用戶點(diǎn)擊廣告；快遞花費(fèi)的時間），我們可以合理地預(yù)測下一個事件的結(jié)果（用戶是否點(diǎn)擊下一個此類廣告）。
產(chǎn)品經(jīng)理和研究員、工程師該如何分工
商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4425.html
摘要：是你學(xué)習(xí)從入門到專家必備的學(xué)習(xí)路線和優(yōu)質(zhì)學(xué)習(xí)資源。的數(shù)學(xué)基礎(chǔ)最主要是高等數(shù)學(xué)線性代數(shù)概率論與數(shù)理統(tǒng)計三門課程，這三門課程是本科必修的。其作為機(jī)器學(xué)習(xí)的入門和進(jìn)階資料非常適合。書籍介紹深度學(xué)習(xí)通常又被稱為花書，深度學(xué)習(xí)領(lǐng)域最經(jīng)典的暢銷書。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【導(dǎo)讀】本文由知名開源平...
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅持使用通俗形象的語言給我的讀者朋友們講解機(jī)器學(xué)習(xí)深度學(xué)習(xí)的各個知識點(diǎn)。今天，紅色石頭特此將以前所有的原創(chuàng)文章整理出來，組成一個比較合理完整的機(jī)器學(xué)習(xí)深度學(xué)習(xí)的學(xué)習(xí)路線圖，希望能夠幫助到大家。 一年多來，公眾號【AI有道】已經(jīng)發(fā)布了 140+ 的原創(chuàng)文章了。內(nèi)容涉及林軒田機(jī)器學(xué)習(xí)課程筆記、吳恩達(dá) deeplearning.ai 課程筆記、機(jī)...
摘要：在最近的會議上，吳恩達(dá)分享了關(guān)于深度學(xué)習(xí)的一些看法。深度學(xué)習(xí)較大的優(yōu)勢在于它的規(guī)模，從吳恩達(dá)總結(jié)的下圖可以看出當(dāng)數(shù)據(jù)量增加時，深度學(xué)習(xí)模型性能更好。深度學(xué)習(xí)模型如此強(qiáng)大的另一個原因，是端到端的學(xué)習(xí)方式。然而，深度學(xué)習(xí)卻使它有了一點(diǎn)變化。 在最近的 NIPS 2016 會議上，吳恩達(dá)分享了關(guān)于深度學(xué)習(xí)的一些看法。我們在此做一個整理。?深度學(xué)習(xí)較大的優(yōu)勢在于它的規(guī)模，從吳恩達(dá)總結(jié)的下圖可以看出：...
摘要：的研究興趣涵蓋大多數(shù)深度學(xué)習(xí)主題，特別是生成模型以及機(jī)器學(xué)習(xí)的安全和隱私。與以及教授一起造就了年始的深度學(xué)習(xí)復(fù)興。目前他是僅存的幾個仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學(xué)計算機(jī)視覺博士學(xué)位，讀博期間師從現(xiàn)任 Google AI 首席科學(xué)家李飛飛，研究卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺、自然語言處理上的應(yīng)...
摘要：年月在主辦的的演講，談數(shù)據(jù)科學(xué)家需要知道的深度學(xué)習(xí)知識。當(dāng)時還演示了機(jī)器看圖說話，機(jī)器問答，，的效果。其中就是個，能實時對人臉做建模，替換其他的鬼臉，他開玩笑說趕在萬圣節(jié)之前上線，以后都不要買道具，一秒變鬼畜。 2015年12月 Andrew Ng在Import IO主辦的ExtractConf的演講，談數(shù)據(jù)科學(xué)家需要知道的深度學(xué)習(xí)知識。當(dāng)時還演示了機(jī)器看圖說話，機(jī)器問答，Dulight，F(xiàn)...
閱讀 2894·2021-10-13 09:48
閱讀 3934·2021-10-13 09:39
閱讀 3685·2021-09-22 16:04
閱讀 1923·2021-09-03 10:48
閱讀 914·2021-08-03 14:04
閱讀 2416·2019-08-29 15:18
閱讀 3477·2019-08-26 12:19
閱讀 2932·2019-08-26 12:08
