資訊專(zhuān)欄INFORMATION COLUMN
摘要：最近，又帶起了一波深度學(xué)習(xí)的熱潮。因此需要并行的深度學(xué)習(xí)系統(tǒng)提高訓(xùn)練速度。各大公司在構(gòu)建并行深度學(xué)習(xí)系統(tǒng)上投入了大量的精力，包括谷歌微軟騰訊和百度等等。為了提高算法的并行效率，這些系統(tǒng)大部分使用了多機(jī)多的方式。
最近，AlphaGo又帶起了一波深度學(xué)習(xí)的熱潮。深度學(xué)習(xí)在很多領(lǐng)域都大幅提高了模型的精度，使得很多以前在實(shí)驗(yàn)室中的技術(shù)得以運(yùn)用到日常的生活之中。然而，大多數(shù)深度學(xué)習(xí)網(wǎng)絡(luò)非常復(fù)雜，需要大量的訓(xùn)練樣本進(jìn)行訓(xùn)練，很多網(wǎng)絡(luò)需要一次訓(xùn)練，同時(shí)額外多次的訓(xùn)練來(lái)調(diào)參數(shù)。時(shí)間效率上遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足當(dāng)前的工業(yè)需求。因此需要并行的深度學(xué)習(xí)系統(tǒng)提高訓(xùn)練速度。
各大公司在構(gòu)建并行深度學(xué)習(xí)系統(tǒng)上投入了大量的精力，包括谷歌、Facebook、微軟、騰訊和百度等等。為了提高算法的并行效率，這些系統(tǒng)大部分使用了多機(jī)多GPU的方式。所謂多機(jī)，即是大量的機(jī)器通過(guò)網(wǎng)絡(luò)連接組成訓(xùn)練集群；多GPU即是集群內(nèi)部的每臺(tái)機(jī)器上包含多個(gè)GPU，通過(guò)數(shù)據(jù)并行（每個(gè)GPU訓(xùn)練部分?jǐn)?shù)據(jù)）、模型并行（每個(gè)GPU訓(xùn)練部分網(wǎng)絡(luò)）或者兩者混合的方式提高加快訓(xùn)練速度。GPU浮點(diǎn)運(yùn)行效率很高，這導(dǎo)致了并行系統(tǒng)的主要瓶頸在于I/O效率，因此這些系統(tǒng)使用了諸如InfiniBand和RDMA(Remote Direct Memory Access,全稱(chēng)遠(yuǎn)程直接數(shù)據(jù)存取，專(zhuān)用于解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲)等高性能技術(shù), 而這些技術(shù)需要昂貴的硬件支持，大大增加了系統(tǒng)構(gòu)建和維護(hù)的成本和難度，導(dǎo)致這些系統(tǒng)很難復(fù)制和普及到通用場(chǎng)景。
SpeeDO（Open DEEP learning System的逆序）是一個(gè)為通用硬件設(shè)計(jì)的并行深度學(xué)習(xí)系統(tǒng)。SpeeDO不需要特殊的I/O硬件，支持CPU/GPU集群，因此可以很方便地在各種云端環(huán)境上部署，如AWS、Google GCE、Microsoft Azure等等。
SpeeDO 采用了目前通用的參數(shù)服務(wù)器（parameter server）架構(gòu)，依賴(lài)一系列基于JVM的開(kāi)源庫(kù)，使用Scala語(yǔ)言開(kāi)發(fā)。
SpeeDO 的架構(gòu)圖如下圖所示：
流程圖如下圖所示:
SpeeDO 的主要組件及其功能如下：
Caffe：開(kāi)源深度學(xué)習(xí)庫(kù)，基于C++，支持CPU/GPU。原版不支持多GPU/多機(jī)并行。
Akka：JVM上的消息隊(duì)列庫(kù)，負(fù)責(zé)參數(shù)服務(wù)器和工作節(jié)點(diǎn)之間的并發(fā)消息處理。
Redis：基于內(nèi)存的高效并行Key-Value數(shù)據(jù)庫(kù)。主要用于在參數(shù)服務(wù)器和工作節(jié)點(diǎn)之間傳遞訓(xùn)練的模型。這些模型一般比較大（幾十至上千MB不等），不適合直接通過(guò)Akka進(jìn)行傳輸。
Yarn：Hadoop2的資源管理組件，實(shí)現(xiàn)在多臺(tái)機(jī)器上一鍵部署參數(shù)服務(wù)器和工作節(jié)點(diǎn)，實(shí)時(shí)監(jiān)控各節(jié)點(diǎn)的運(yùn)行狀態(tài)，處理異常。
SpeeDO 提供docker鏡像（只支持CPU）以方便系統(tǒng)的快速構(gòu)建和測(cè)試，獲取鏡像：docker pull obdg/speedo:latest，使用方法請(qǐng)參考：https://github.com/openbigdatagroup/speedo。
關(guān)于SpeeDO 的更多細(xì)節(jié)，可以參閱發(fā)表在NIPS 2015 Machine Learning Systems Workshop上的論文：http://learningsys.org/papers/LearningSys_2015_paper_13.pdf。
SpeeDO的代碼在Github上開(kāi)源：https://github.com/openbigdatagroup/speedo，并提供了詳細(xì)的安裝腳本和Docker文件。
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/4359.html
摘要：本文內(nèi)容節(jié)選自由主辦的第七屆，北京一流科技有限公司首席科學(xué)家袁進(jìn)輝老師木分享的讓簡(jiǎn)單且強(qiáng)大深度學(xué)習(xí)引擎背后的技術(shù)實(shí)踐實(shí)錄。年創(chuàng)立北京一流科技有限公司，致力于打造分布式深度學(xué)習(xí)平臺(tái)的事實(shí)工業(yè)標(biāo)準(zhǔn)。 本文內(nèi)容節(jié)選自由msup主辦的第七屆TOP100summit，北京一流科技有限公司首席科學(xué)家袁進(jìn)輝（老師木）分享的《讓AI簡(jiǎn)單且強(qiáng)大：深度學(xué)習(xí)引擎OneFlow背后的技術(shù)實(shí)踐》實(shí)錄。 北京一流...
摘要：年月日，機(jī)器之心曾經(jīng)推出文章為你的深度學(xué)習(xí)任務(wù)挑選最合適從性能到價(jià)格的全方位指南。如果你想要學(xué)習(xí)深度學(xué)習(xí)，這也具有心理上的重要性。如果你想快速學(xué)習(xí)深度學(xué)習(xí)，多個(gè)廉價(jià)的也很好。目前還沒(méi)有適合顯卡的深度學(xué)習(xí)庫(kù)所以，只能選擇英偉達(dá)了。 文章作者 Tim Dettmers 系瑞士盧加諾大學(xué)信息學(xué)碩士，熱衷于開(kāi)發(fā)自己的 GPU 集群和算法來(lái)加速深度學(xué)習(xí)。這篇博文最早版本發(fā)布于 2014 年 8 月，之...
摘要：在一個(gè)數(shù)據(jù)分析任務(wù)和任務(wù)混合的環(huán)境中，大數(shù)據(jù)分析任務(wù)也會(huì)消耗很多網(wǎng)絡(luò)帶寬如操作，網(wǎng)絡(luò)延遲會(huì)更加嚴(yán)重。本地更新更新更新目前，我們已經(jīng)復(fù)現(xiàn)中的實(shí)驗(yàn)結(jié)果，實(shí)現(xiàn)了多機(jī)并行的線(xiàn)性加速。 王佐，天數(shù)潤(rùn)科深度學(xué)習(xí)平臺(tái)負(fù)責(zé)人，曾擔(dān)任 Intel亞太研發(fā)中心Team Leader，萬(wàn)達(dá)人工智能研究院資深研究員，長(zhǎng)期從事分布式計(jì)算系統(tǒng)研究，在大規(guī)模分布式機(jī)器學(xué)習(xí)系統(tǒng)架構(gòu)、機(jī)器學(xué)習(xí)算法設(shè)計(jì)和應(yīng)用方面有深厚積累。在...
閱讀 910·2021-09-22 16:01
閱讀 2166·2021-08-20 09:37
閱讀 1762·2019-08-30 15:54
閱讀 1744·2019-08-30 15:44
閱讀 911·2019-08-28 18:23
閱讀 3070·2019-08-26 12:17
閱讀 1089·2019-08-26 11:56
閱讀 1595·2019-08-23 16:20
