摘要:但是在當時,幾乎沒有人看好深度學習的工作。年,與和共同撰寫了,這本因封面被人們親切地稱為花書的深度學習奠基之作,也成為了人工智能領域不可不讀的圣經(jīng)級教材。在年底,開始為深度學習的產(chǎn)業(yè)孵化助力。
蒙特利爾大學計算機科學系教授 Yoshua Bengio
從法國來到加拿大的時候,Yoshua Bengio只有12歲。他在加拿大度過了學生時代的大部分時光,在麥吉爾大學的校園中接受了從本科到博士的完整高等教育,隨后又前往麻省理工學院和貝爾實驗室做博士后。1993年,他重回蒙特利爾,加入離麥吉爾大學不遠的蒙特利爾大學擔任計算機科學與運籌學系教授,繼續(xù)潛心進行深度學習的研究。
從80年代到今天,深度學習從不被大多數(shù)人看好的“癡心妄想”,到席卷包括自然語言處理、計算機視覺、語音識別在內(nèi)的幾乎所有人工智能領域,其影響力已經(jīng)全面覆蓋了學術界、產(chǎn)業(yè)界以及人們的日常生活。Yoshua Bengio幾十年如一日的堅守,證明了深度學習所蘊含的、足以影響我們每個人生活的巨大價值。
深度學習的元老,超過137,000次學術引用,“AI圣經(jīng)”《Deep Learning》等一系列教科書級著作的作者,笑起來極富表現(xiàn)力的眉毛,這些是Yoshua Bengio大神給人們留下的標志性印象。
深度學習的先驅(qū)
上世紀八九十年代的AI唱衰者們不會預料到深度學習在二十一世紀的成功。作為早期開拓者中的一員,Yoshua Bengio也歷經(jīng)了漫長的“AI寒冬”,在上世紀末的三十年中,人工智能曾兩度陷入歷史的較低谷。?
在Yoshua Bengio上大學的八十年代,深度學習在計算機科學中屬于非常冷門的理論,符號主義的經(jīng)典學派占據(jù)著學界與大學課堂的主流,但Yoshua Bengio這位獨樹一幟的學生卻偏偏對深度學習產(chǎn)生了強烈的興趣。用神經(jīng)網(wǎng)絡模擬人腦,用機器學習去揭開人類智慧誕生的奧秘,這對Bengio來說有著巨大的吸引力。就這樣,Bengio找到了他在接下來的30余年中始終鐘情的研究方向。
但是在當時,幾乎沒有人看好深度學習的工作。因為對同一項任務來說,既然用傳統(tǒng)方法能更輕松地達到更好的效果,為什么要費勁去訓練神經(jīng)網(wǎng)絡呢?因此,大多數(shù)研究者都不愿意從事這一方向。上世界九十年代人們也曾短暫地看到神經(jīng)網(wǎng)絡的希望,但由于數(shù)據(jù)量和計算能力的限制,希望很快破滅了,神經(jīng)網(wǎng)絡仍然是癡心妄想。但即使人工智能處于低谷,Bengio仍然全身心地投入深度學習研究,不斷貢獻了許多新的研究成果。
直到2010到2012年,轉機才真正出現(xiàn)。隨著大數(shù)據(jù)的崛起和計算能力的大幅增長,突然之間,人們終于看到了深度學習所蘊藏的真正力量,這使得深度學習一下子被推向人們目光的中心。Yoshua Bengio在過去20年中原本問津者寥寥的諸多科研積累,也迅速成為了人工智能界討論的焦點,包括深度學習架構、循環(huán)神經(jīng)網(wǎng)絡(RNN)、對抗算法、表征學習等等。這些研究成果影響和啟發(fā)了后來的大量研究者,將深度學習應用到自然語言處理、計算機視覺等人工智能的各個主要領域,對近年來深度學習的崛起和發(fā)展起到了巨大的推動作用。
1994年,在Yoshua Bengio與另一位深度學習元老級人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》論文中,首次提出了用反向傳播算法訓練的多層神經(jīng)網(wǎng)絡LeNet5,它是世界上最早的也是最著名的卷積神經(jīng)網(wǎng)絡之一。
在2003年發(fā)表的《A neural probabilistic language model》中,Yoshua Bengio第一次提出用神經(jīng)網(wǎng)絡結構來建立自然語言模型,這一思路和方法廣泛地影響了后人用神經(jīng)網(wǎng)絡做自然語言處理的研究。這一網(wǎng)絡結構也被迅速引入自然語言處理的應用實踐中并取得了良好的成效,比如最經(jīng)典的用于生成詞向量的word2vec模型,以及近年大熱的神經(jīng)網(wǎng)絡機器翻譯。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》則提綱挈領地總結了深度學習架構中學習算法的動機和原理,為相關的研究提供了理論指導。Yoshua Bengio發(fā)表的300多篇學術文章累計的學術引用次數(shù)已經(jīng)超過了驚人的137,000次。
2016年,Yoshua Bengio與Ian Goodfellow和Aaron Courville共同撰寫了《Deep Learning》,這本因封面被人們親切地稱為“花書”的深度學習奠基之作,也成為了人工智能領域不可不讀的“圣經(jīng)”級教材。
包括Yoshua Bengio在內(nèi)的深度學習先驅(qū)者們讓我們看到了支持長期研究的重要性,他們可貴的研究精神也值得人們敬佩。
雖然眼下深度學習風頭正勁,但在幾年后甚至幾十年后,深度學習還會一直存在嗎?在Yoshua Bengio看來,人工智能研究者要不斷地提出和發(fā)展新的想法,這些新想法可能是受到現(xiàn)有技術和概念的啟發(fā)而誕生的,也將在未來成為新一輪想法的啟蒙。他也坦言,雖然人工智能現(xiàn)在已經(jīng)對社會和人類生活產(chǎn)生了巨大的影響,但在大多數(shù)情況下,人工智能表現(xiàn)出的智力還遠遠不及哺乳動物,人工智能還有太多潛能留待我們?nèi)グl(fā)掘。
無論如何,Yoshua Bengio的研究興趣將始終圍繞對智力生成機制的探索,并致力于讓人工智能的發(fā)展為所有人的利益服務。
教書育人,孵化技術
無論產(chǎn)業(yè)界的浪潮多么洶涌,在人工智能的研究大牛紛紛入伙科技公司的時候,Yoshua Bengio始終沒有離開他位于蒙特利爾大學校園中的三樓辦公室。
在這里,他繼續(xù)潛心科研和教學工作,為人工智能培養(yǎng)了許多杰出的下一代人才。在剛剛進入蒙特利爾大學任教的時候,全校只有Yoshua Bengio一位教授從事深度學習算法的研究,他欣然接收所有對深度學習感興趣的學生,漸漸在蒙特利爾大學組織起研究團隊,與學術界建立聯(lián)系并開展合作。他建立了蒙特利爾學習算法研究所(Montreal Institute For Learning Algorithms, MILA)并擔任科學主任,并作為聯(lián)合主席共同進行CIFAR機器與大腦學習項目的研究,也擔任著數(shù)據(jù)評估研究所(The institute for data valorization,IVADO)的科學聯(lián)合主任。
Yoshua Bengio長達15年的實驗室組織與管理經(jīng)驗也讓他形成了一套自己的方法論,“不要將每個學生束縛在他們自己的項目中,而要讓他們靈活合作。學生們與教授也不是一對一的關系,應該將整個實驗室的人組成一個大的網(wǎng)絡。”
對高校人才培養(yǎng)的執(zhí)著投入,不代表Yoshua Bengio對產(chǎn)業(yè)動向毫不關心,Yoshua Bengio希望現(xiàn)有的人工智能技術能更快地進入人們的生活,真正幫助人們?nèi)ネ瓿筛鞣N各樣的任務。
在2016年底,Yoshua Bengio開始為深度學習的產(chǎn)業(yè)孵化助力。他作為聯(lián)合創(chuàng)始人創(chuàng)建了人工智能創(chuàng)業(yè)孵化器Element AI,鼓勵研究員和企業(yè)家們一同創(chuàng)立人工智能公司,將人工智能技術融入各行各業(yè),讓人工智能的商業(yè)化前景變?yōu)楝F(xiàn)實。在成立后的兩年中,Element AI已經(jīng)幫助數(shù)百位來自蒙特利爾大學和麥吉爾大學的研究人員完成了從科研技術到應用產(chǎn)品的轉化,也幫助初創(chuàng)公司的企業(yè)家在這個飛速崛起的熱門領域中保持正確的前進方向。
可以說,Yoshua Bengio不僅在人工智能研究上推動蒙特利爾成為了世界深度學習的一大重鎮(zhèn),也為他所期待的人工智能生態(tài)系統(tǒng)添磚加瓦,促成了蒙特利爾如今在人工智能領域的良好學術和創(chuàng)業(yè)氛圍。
現(xiàn)年54歲的Yoshua Bengio不僅學術著作等身,在大多數(shù)學術權威會議中,你都可以看到這張熟悉的面孔。他不僅是加拿大統(tǒng)計學習算法研究主席,在2009年擔任了機器學習較高級會議NIPS的主席,還在2013年牽頭創(chuàng)辦國際學習表征會議(ICLR),讓ICLR在短短幾年內(nèi)迅速躋身頂會行列,成為首屈一指的專注深度學習領域的較高級會議。
Yoshua Bengio也獲得了許多重量級的名譽和獎項,他是加拿大皇家學院(RSC)及加拿大高等研究院(CIFAR)院士,且在2017年獲得了代表加拿大公民較高榮譽的“加拿大總督功勛獎”。盡管如此,Bengio在生活中一直保持著低調(diào),除了演講之外,很少出現(xiàn)在媒體和大眾的視線中。
參考資料:1. Yoshua Bengio個人主頁
http://www.iro.umontreal.ca/~bengioy/yoshua_en/
2. "Yoshua Bengio", Wikipedia.
https://en.wikipedia.org/wiki/Yoshua_Bengio
3. Microsoft AI Blog
https://blogs.microsoft.com/ai/
4. 對話Yoshua Bengio | 深度學習的昨天、今天和明天
https://www.msra.cn/zh-cn/news/features/faculty-summit-2017-yoshua-bengio-20170831
5. Yoshua Bengio經(jīng)驗分享:如何做好學術研究?如何管好實驗室?
https://www.leiphone.com/news/201808/IELI9Rpqa9p1wzSK.html
6. 深度學習三駕馬車首次同臺,“打情罵俏”展望未來
https://blog.csdn.net/gh13uy2ql0N5/article/details/78238215
聲明:文章收集于網(wǎng)絡,如有侵權,請聯(lián)系小編及時處理,謝謝!
商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法,實際應用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉庫,數(shù)據(jù)挖掘工具,報表系統(tǒng)等全方位知識
QQ群:81035754
文章版權歸作者所有,未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉載請注明本文地址:http://www.ezyhdfw.cn/yun/4817.html
摘要:的研究興趣涵蓋大多數(shù)深度學習主題,特別是生成模型以及機器學習的安全和隱私。與以及教授一起造就了年始的深度學習復興。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學計算機視覺博士學位,讀博期間師從現(xiàn)任 Google AI 首席科學家李飛飛,研究卷積神經(jīng)網(wǎng)絡在計算機視覺、自然語言處理上的應...
摘要:主流機器學習社區(qū)對神經(jīng)網(wǎng)絡興趣寡然。對于深度學習的社區(qū)形成有著巨大的影響。然而,至少有兩個不同的方法對此都很有效應用于卷積神經(jīng)網(wǎng)絡的簡單梯度下降適用于信號和圖像,以及近期的逐層非監(jiān)督式學習之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分,我們會來到故事的尾聲并一睹神經(jīng)網(wǎng)絡如何在上世紀九十年代末擺脫頹勢并找回自己,也會看到自此以后它獲得的驚人先進成果?!冈噯枡C器學習領域的任何一人,是什...
閱讀 2210·2021-10-08 10:15
閱讀 1257·2019-08-30 15:52
閱讀 577·2019-08-30 12:54
閱讀 1601·2019-08-29 15:10
閱讀 2746·2019-08-29 12:44
閱讀 3064·2019-08-29 12:28
閱讀 3416·2019-08-27 10:57
閱讀 2283·2019-08-26 12:24