摘要:硬件機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片服務(wù)器和云服務(wù)提供商。數(shù)據(jù)中心也正在重新設(shè)計架構(gòu),以支持機器學習和深度學習耗用的超大量數(shù)據(jù)。
作者是多位精英CIO、CTO和技術(shù)高管組成的福布斯雜志的常設(shè)部門Forbes Technology Council
過去這幾年涌現(xiàn)出了全新類別的產(chǎn)品,這歸功于機器學習和深度學習取得了非凡的進步。僅舉幾個例子,這些新技術(shù)在支持產(chǎn)品推薦、醫(yī)療成像中的計算機輔助診斷和自動駕駛汽車。
大多數(shù)機器學習和深度學習算法需要的計算資源(硬件、軟件、存儲和網(wǎng)絡(luò))與針對傳統(tǒng)應(yīng)用軟件優(yōu)化的那些計算資源大不一樣。因而,隨著越來越多的公司開發(fā)各自的機器學習/深度學習算法,并將這些算法部署到生產(chǎn)環(huán)境,市場對針對機器學習優(yōu)化的計算資源的需求只會急劇增長,因而讓新的進入者有機會提供可與如今的老牌云服務(wù)提供商:亞馬遜AWS、微軟Azure和谷歌云一較高下的解決方案。
機器學習/深度學習云不一樣
在Mesosphere博客頁面上的一篇文章(https://mesosphere.com/blog/smack-stack-new-lamp-stack/)中,愛德華?蘇(Edward Hsu)提出了這個觀點:Web應(yīng)用程序現(xiàn)在主要是數(shù)據(jù)驅(qū)動的。因而,SMACK(Spark、Mesos、Akka、Cassandra和Kafka)這一套新的框架(又叫堆棧)勢必會取代用來構(gòu)建基于Web的應(yīng)用程序的傳統(tǒng)LAMP(Linux、Apache、MySQL和PHP)堆棧。在我看來,SMACK將與基于Web的傳統(tǒng)框架和諧共存,并將數(shù)據(jù)饋送給這些傳統(tǒng)框架,而不是取代LAMP,畢竟我們?nèi)孕枰獋鹘y(tǒng)框架來呈現(xiàn)外觀漂亮的網(wǎng)頁,并與手機接口進行交互。
然而,主要觀點有著充分的根據(jù)。我們需要將馬克?安德森(MarcAndreesen)的那句名言“軟件在蠶食世界”改成“數(shù)據(jù)在蠶食世界”。不妨對這個說法細細道來,并介紹由此帶來的影響。
硬件
機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片、服務(wù)器和云服務(wù)提供商。這種顛覆根源于這個簡單的事實:就機器學習和深度學習而言,GPU是效率比傳統(tǒng)CPU高得多的處理器。
就在不久前,解決辦法還是為傳統(tǒng)服務(wù)器添加GPU附加卡?,F(xiàn)在我們正處于這樣一個時間點:市場對機器學習/深度學習計算的需求非常大,以至于廠商們在紛紛制造針對機器學習/深度學習計算負載優(yōu)化的專用服務(wù)器。
數(shù)據(jù)中心也正在重新設(shè)計架構(gòu),以支持機器學習和深度學習耗用的超大量數(shù)據(jù)。設(shè)想一下你在設(shè)計自動駕駛汽車的大腦部件。你需要處理成千上萬個小時的視頻(以及其他諸如GPS、陀螺儀和LIDAR之類的信號)來訓(xùn)練算法。路面上行駛的一輛特斯拉汽車在1秒內(nèi)記錄的數(shù)據(jù)量比Facebook上一則推文或一個帖子的數(shù)據(jù)量多100萬倍。
因此,機器學習/深度學習數(shù)據(jù)中心不僅需要海量的存儲空間,還需要極高的帶寬。
軟件
軟件方面來得還要復(fù)雜。轉(zhuǎn)移數(shù)據(jù)和管理計算任務(wù)的執(zhí)行需要一套新的基礎(chǔ)設(shè)施堆棧,通常使用專門針對機器學習的框架,比如Tensorflow(最初由谷歌開發(fā))或PyTorch(最初在Facebook開發(fā))。此外,開源代碼庫(pandas、scikit-learn和matplotlib)用于實現(xiàn)模型(比如神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)顯示)。這些模型庫之所以至關(guān)重要,是由于它們已經(jīng)過了優(yōu)化,不僅就算法研究而言易于使用,還為用于生產(chǎn)環(huán)境提供了高性能。
最后,每家廠商都為特定的使用場合提供了完整的構(gòu)建模塊。比如說,亞馬遜Lex、谷歌Cloud Speech和微軟Bing Speech提供了語音識別,甚至可以識別意圖。各自都有自己的API和獨特的行為,這使得從一家廠商遷移到另一家廠商很耗費時間。
新的進入者
除了數(shù)年來提供GPU加速實例的三大云服務(wù)提供商(亞馬遜AWS、微軟Azure和谷歌云)外,現(xiàn)在還出現(xiàn)了針對機器學習優(yōu)化的新產(chǎn)品:
?英偉達最近推出了一整套“專用的AI超級計算機”服務(wù)器,名為DGX系統(tǒng)。英偉達已經(jīng)是GPU市場的頭號提供商,計算機顯示離不開顯卡,而顯卡離不開GPU。
Servers.com提供的Prisma Cloud配備針對GPU優(yōu)化的專用服務(wù)器。
Rescale是專注于高性能計算(HPC)的小眾云服務(wù)提供商之一,它剛剛宣布推出搭載GPU的一代服務(wù)器和高帶寬互連技術(shù),旨在搭建高性能多節(jié)點集群。
哪些巨頭岌岌可危?
三大云服務(wù)提供商眼下面臨被英偉達、Servers.com和Rescale等新的進入者顛覆的風險。由于算法領(lǐng)域的創(chuàng)新和計算效率提高,機器學習/深度學習方面的創(chuàng)新仍在高歌猛進。這就形成了一場小規(guī)模的“軍備競賽”:最終用戶不斷尋找可以提供那個額外優(yōu)勢的提供商。
一方面,最終用戶在提供較佳軟硬件計算環(huán)境的這場軍備競賽中獲得了巨大好處。另一方面,最終用戶又需要隨時警惕,密切關(guān)注的產(chǎn)品。而更重要的是,將機器學習/深度學習產(chǎn)品部署到生產(chǎn)環(huán)境時,首席執(zhí)行官和首席技術(shù)官需要挑選今后兩到五年會保持優(yōu)勢的獲勝者,或挑選至少未來的幸存者。而這并非易事。
歡迎加入本站公開興趣群軟件開發(fā)技術(shù)群
興趣范圍包括:Java,C/C++,Python,PHP,Ruby,shell等各種語言開發(fā)經(jīng)驗交流,各種框架使用,外包項目機會,學習、培訓(xùn)、跳槽等交流
QQ群:26931708
Hadoop源代碼研究群
興趣范圍包括:Hadoop源代碼解讀,改進,優(yōu)化,分布式系統(tǒng)場景定制,與Hadoop有關(guān)的各種開源項目,總之就是玩轉(zhuǎn)Hadoop
QQ群:288410967?
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://www.ezyhdfw.cn/yun/4226.html
摘要:硬件機器學習和深度學習帶來的那種顛覆早已從軟件堆棧擴大到了芯片服務(wù)器和云服務(wù)提供商。數(shù)據(jù)中心也正在重新設(shè)計架構(gòu),以支持機器學習和深度學習耗用的超大量數(shù)據(jù)。 作者是多位精英CIO、CTO和技術(shù)高管組成的福布斯雜志的常設(shè)部門Forbes Technology Council過去這幾年涌現(xiàn)出了全新類別的產(chǎn)品,這歸功...
摘要:雖然為企業(yè)定制的深度學習框架可以提供重要的價值,但自己構(gòu)建一個這樣的框架會帶來獨特的挑戰(zhàn)。目前,訓(xùn)練深度學習模型的較佳選擇是圖形處理單元。實際上,由于規(guī)模和管理方面的復(fù)雜性不可預(yù)測,許多深度學習項目的最終歸宿都是數(shù)據(jù)科學實驗。 深度學習是受到人類大腦啟發(fā)而產(chǎn)生的機器學習(ML)算法的一種。這些算法也被稱為神經(jīng)網(wǎng)絡(luò),它們特別擅長從嘈雜的數(shù)據(jù)和曾經(jīng)對機器完全不透明的數(shù)據(jù)里探測出模式。雖然神經(jīng)網(wǎng)絡(luò)...
摘要:在最新發(fā)布的畢馬威年度創(chuàng)新報告中,阿里巴巴被評為地球上最具科技顛覆力的公司。排在阿里巴巴之后的,是亞馬遜谷歌等美國科技巨頭。阿里巴巴,已經(jīng)成為世界頂級技術(shù)不可或缺的玩家。 在最新發(fā)布的畢馬威2018年度創(chuàng)新報告中,阿里巴巴被評為地球上最具科技顛覆力的公司。排在阿里巴巴之后的,是Facebook、亞馬遜、谷歌等美國科技巨頭。 showImg(https://segmentfault.co...
摘要:百度北京深度學習實驗室主任余凱和吳是朋友,就是他力勸吳恩達加入百度的,余凱說實驗室確實以基礎(chǔ)技術(shù)為目標。實驗結(jié)果證實,深度學習是開發(fā)機器學習軟件的切實可行的辦法。 百度是中國網(wǎng)民上網(wǎng)時的常用工具,它致力于成為影響全球的力量。作為世界上人工智能領(lǐng)域的頂尖研究員,吳恩達先生能否助其成功挑戰(zhàn)硅谷較大的互聯(lián)網(wǎng)公司?百老匯音樂廳位于舊金山北海岸,是新古典主義建筑,已擁有95年歷史,歷經(jīng)歲月磨蝕,四周環(huán)...
摘要:福布斯昨日刊登專訪。生于英國,被認為是機器學習的先鋒,現(xiàn)在是多倫多大學教授,谷歌高級研究員。但是,正如我所說,已經(jīng)跨越過了這一分水嶺。 《福布斯》昨日刊登Geoff Hinton專訪。游走在學術(shù)和產(chǎn)業(yè)的AI大神Hinton談到了自己研究興趣的起源、在多倫多大學和谷歌所做的研究工作以及發(fā)起的私人俱樂部 NCAP。 在采訪中,Hinton談到,現(xiàn)在計算能力和數(shù)據(jù)的發(fā)展讓AI獲得巨大進步,并且在很...
閱讀 3286·2021-11-08 13:18
閱讀 1418·2021-10-09 09:57
閱讀 1262·2021-09-22 15:33
閱讀 4161·2021-08-17 10:12
閱讀 5173·2021-08-16 11:02
閱讀 2751·2019-08-30 10:56
閱讀 1042·2019-08-29 18:31
閱讀 3315·2019-08-29 16:30