摘要:日前,公司宣布推出其分布式深度學(xué)習(xí)軟件的測(cè)試版,該軟件證明了在深度學(xué)習(xí)表現(xiàn)出來的技術(shù)飛躍。系統(tǒng)加速和內(nèi)存總監(jiān)在一篇博文中表示更受歡迎的深度學(xué)習(xí)框架擴(kuò)展到服務(wù)器中的多個(gè),而不是擴(kuò)展到具有的多個(gè)服務(wù)器。
日前,IBM 公司宣布推出其分布式深度學(xué)習(xí)軟件的測(cè)試版,該軟件證明了在深度學(xué)習(xí)表現(xiàn)出來的技術(shù)飛躍。
深度學(xué)習(xí)是人工智能的一種形式,它依賴于人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用。其重點(diǎn)是讓計(jì)算機(jī)能夠像人們那樣理解數(shù)字圖像、視頻、錄音等內(nèi)容。
?
然而,由于處理系統(tǒng)“深層次培訓(xùn)”所需的大量數(shù)據(jù)的后勤處理可能需要幾天甚至幾周的時(shí)間,所以很多潛在的深度學(xué)習(xí)仍然未能實(shí)現(xiàn)。其結(jié)果的準(zhǔn)確性是導(dǎo)致耗費(fèi)時(shí)間的另一個(gè)問題,因?yàn)橄到y(tǒng)需要多次訓(xùn)練才能獲得預(yù)期的結(jié)果。每次通過更高的準(zhǔn)確度意味著計(jì)算機(jī)必須“重新訓(xùn)練”的次數(shù)更少,直到它正確為止。
?
減少時(shí)間因素是困難的,因?yàn)橹恍柙黾痈嗟挠?jì)算能力和更快的處理器,而增加更多的處理器不會(huì)加快速度。其實(shí)恰恰相反:隨著“學(xué)習(xí)者”處理器數(shù)量的增加,計(jì)算時(shí)間會(huì)像預(yù)期的那樣減少,但是每個(gè)學(xué)習(xí)者的溝通時(shí)間保持不變。換句話說,是學(xué)習(xí)瓶頸阻礙了發(fā)展。
?
IBM公司在一份研究報(bào)告中解釋說:“成功的分布式深度學(xué)習(xí)需要一個(gè)基礎(chǔ)架構(gòu),其中硬件和軟件被共同優(yōu)化,以平衡計(jì)算需求與通信需求和互連帶寬?!贝送?,通信延遲在GPU的大規(guī)模擴(kuò)展(100多個(gè))中起著重要的作用。如果這些因素不受控制,分散式深度學(xué)習(xí)可以快速達(dá)到收益遞減的程度。”
?
這使得最深入的學(xué)習(xí)項(xiàng)目僅限于單服務(wù)器實(shí)現(xiàn)。IBM公司日前公布的研究和新軟件也將在這里發(fā)揮作用。該公司已經(jīng)學(xué)會(huì)了如何加快流程,獲得更準(zhǔn)確的結(jié)果。
?
IBM Research系統(tǒng)加速和內(nèi)存總監(jiān)Hillery Hunter在一篇博文中表示:“更受歡迎的深度學(xué)習(xí)框架擴(kuò)展到服務(wù)器中的多個(gè)GPU,而不是擴(kuò)展到具有GPU的多個(gè)服務(wù)器。具體來說,我們的團(tuán)隊(duì)編寫了軟件和算法,可以自動(dòng)化并優(yōu)化這個(gè)非常大而復(fù)雜的計(jì)算任務(wù)的并行化,并將數(shù)百個(gè)GPU加速器連接到數(shù)十臺(tái)服務(wù)器上?!?/p>
?
在對(duì)軟件進(jìn)行測(cè)試時(shí),IBM研究人員在部署Caffe深度學(xué)習(xí)框架時(shí),實(shí)現(xiàn)了創(chuàng)記錄的通信開銷和95%的擴(kuò)展效率,該系列集成了64個(gè)IBM Power系統(tǒng),每個(gè)系統(tǒng)連接4個(gè)NVidia Tesla P100-SXM2 GPU,總共256個(gè)處理器。這使得Facebook人工智能研究使用較小的學(xué)習(xí)模型和數(shù)據(jù)集展示了以前較佳的89%的擴(kuò)展比例,從而降低了復(fù)雜性。
?
此外,測(cè)試產(chǎn)生了一個(gè)識(shí)別圖像的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集的750萬個(gè)圖像的準(zhǔn)確率為33.8%的記錄,打破了微軟公司公布的29.8%的準(zhǔn)確性記錄。
?
Hunter寫道:“IBM研究部門的團(tuán)隊(duì)一直致力于為大數(shù)據(jù)集減少大型模型的訓(xùn)練時(shí)間。我們的目標(biāo)是將深入學(xué)習(xí)訓(xùn)練的等待時(shí)間從數(shù)天或數(shù)小時(shí)縮短到幾分鐘或幾秒鐘,從而提高這些人工智能模型的較精確度。為了實(shí)現(xiàn)這一目標(biāo),我們正在處理在大量服務(wù)器和GPU中分布式深度學(xué)習(xí)的大規(guī)模的問題。“
?
Hunter和她的團(tuán)隊(duì)在加速這一過程中已經(jīng)取得了很大的成績——只用了七個(gè)小時(shí)就完成了測(cè)試。
?
“微軟花了10天的時(shí)間來訓(xùn)練同樣的模式,”她提到了以前的行業(yè)記錄,“這一成就需要我們創(chuàng)建分布式深度學(xué)習(xí)代碼和算法來克服擴(kuò)展這些強(qiáng)大的深度學(xué)習(xí)框架所固有的問題?!?/p>
?
IBM研究開發(fā)的分布式深度學(xué)習(xí)軟件測(cè)試版本或技術(shù)預(yù)覽,日前已在IBM PowerAI 4.0中開始使用,使開發(fā)人員可以使用深入學(xué)習(xí)培訓(xùn)人工智能模型實(shí)現(xiàn)集群擴(kuò)展功能。
?
“我們預(yù)計(jì),通過將此DDL功能提供給人工智能社區(qū),我們將會(huì)看到更多更高的精度運(yùn)行,因?yàn)槠渌死眉旱牧α窟M(jìn)行人工智能模型的訓(xùn)練?!盚unter說。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉庫,數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識(shí)
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://www.ezyhdfw.cn/yun/4594.html
摘要:長久以來,惠普戴爾都是服務(wù)器市場(chǎng)的老三樣,但云計(jì)算時(shí)代的到來,使得服務(wù)器行業(yè)的競爭格局發(fā)生了翻天覆地的變化,國產(chǎn)品牌正從追趕者轉(zhuǎn)變?yōu)橐I(lǐng)者。國產(chǎn)品牌正在全球高端服務(wù)器領(lǐng)域發(fā)揮著越來越重要的作用。長久以來,惠普、戴爾、IBM都是服務(wù)器市場(chǎng)的老三樣,但云計(jì)算時(shí)代的到來,使得服務(wù)器行業(yè)的競爭格局發(fā)生了翻天覆地的變化,國產(chǎn)品牌正從追趕者轉(zhuǎn)變?yōu)橐I(lǐng)者。國產(chǎn)品牌正在全球高端服務(wù)器領(lǐng)域發(fā)揮著越來越重要的作...
摘要:亞馬遜沒有公布的營收,但有人表示它可能已經(jīng)是一項(xiàng)億美元的業(yè)務(wù)。預(yù)計(jì)下周將第一時(shí)間宣布其產(chǎn)品,這是其較早的在上運(yùn)行的主要產(chǎn)品。誰能夠隨著時(shí)間的推移在云服務(wù)中占據(jù)第二把交椅,甚至打敗奪得第一,讓我們拭目以待。 亞馬遜對(duì)用戶推出的Web服務(wù),使它成為迄今為止較大的云服務(wù)提供商。就像大多數(shù)的大型云供應(yīng)商一樣,亞馬遜并沒有就當(dāng)前或計(jì)劃中的數(shù)據(jù)中心透露太多。 埃森哲分析師Huan Liu的研究結(jié)果顯...
摘要:在的計(jì)劃中,今年年底全球要建成至少家云計(jì)算中心。在有了遠(yuǎn)遠(yuǎn)超出當(dāng)年的網(wǎng)絡(luò)帶寬和虛擬化技術(shù)之后,網(wǎng)格等技術(shù)借助云計(jì)算得以發(fā)揚(yáng)光大。實(shí)施安全云計(jì)算的前提是快速高效的收集用戶的安全威脅。市場(chǎng)研究公司稱,安全軟件將從端點(diǎn)轉(zhuǎn)向云計(jì)算。 云計(jì)算(Cloud Computing)正在成為技術(shù)界的行話甚至暗語。不僅Google、IBM、微軟和雅虎等大公司是云計(jì)算的擁躉,規(guī)模較小的公司也在逐漸向其靠攏。CRM...
摘要:年可以說是軟件定義數(shù)據(jù)中心的一年,大量自動(dòng)化和人工智能研發(fā)力量致力于打造下一代可擴(kuò)展的靈活的數(shù)據(jù)中心。年,致力在軟件定義數(shù)據(jù)中心占據(jù)一席之地,并將目標(biāo)瞄準(zhǔn)了在年之前實(shí)現(xiàn)軟件和支持收入億美元。公有云沒有扼殺數(shù)據(jù)中心,盡管有些人預(yù)測(cè)這會(huì)在2018年發(fā)生。不僅數(shù)據(jù)中心還在,而且服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等數(shù)據(jù)中心基礎(chǔ)設(shè)施的全球支出正呈現(xiàn)蓬勃增長的態(tài)勢(shì)。2018年可以說是軟件定義數(shù)據(jù)中心的一年,大量自動(dòng)化和...
摘要:月日晚間,阿里巴巴集團(tuán)發(fā)布年第四季度財(cái)年第三季度財(cái)報(bào),旗下云計(jì)算業(yè)務(wù)阿里云保持強(qiáng)勁增長,營收增速亮眼。財(cái)報(bào)顯示,阿里云第四季度營收億元,比去年同期增長,連續(xù)第三個(gè)季度保持三位數(shù)增長?! ?月28日晚間,阿里巴巴集團(tuán)(NYSE:BABA)發(fā)布2015年第四季度(2016財(cái)年第三季度)財(cái)報(bào),旗下云計(jì)算業(yè)務(wù)阿里云保持強(qiáng)勁增長,營收增速亮眼。財(cái)報(bào)顯示,阿里云第四季度營收8.19億元,比去年同期增長1...
閱讀 1484·2021-11-24 10:20
閱讀 3709·2021-11-24 09:38
閱讀 2378·2021-09-27 13:37
閱讀 2289·2021-09-22 15:25
閱讀 2345·2021-09-01 18:33
閱讀 3587·2019-08-30 15:55
閱讀 1856·2019-08-30 15:54
閱讀 2173·2019-08-30 12:50