資訊專欄INFORMATION COLUMN
摘要：為了更好的賣他們家的，花了不少力氣參與分布計(jì)算社區(qū)的開(kāi)發(fā)，比如。如果真正用好這些芯片提供的特性，確實(shí)可以極大的提升分布式計(jì)算系統(tǒng)的性能。最初這些指令大部分是用于多媒體和圖形處理領(lǐng)域，現(xiàn)在也有計(jì)算引擎和數(shù)據(jù)庫(kù)系統(tǒng)開(kāi)始利用這些指令進(jìn)行加速。
Intel 為了更好的賣他們家的cpu，花了不少力氣參與分布計(jì)算社區(qū)的開(kāi)發(fā)，比如spark。如果真正用好這些芯片提供的特性，確實(shí)可以極大的提升分布式計(jì)算系統(tǒng)的性能。
SIMD
傳統(tǒng)的計(jì)算指令輸入是兩個(gè)數(shù)，輸出是一個(gè)數(shù)。SIMD指令的輸入是兩個(gè)數(shù)組，輸出是也是數(shù)組。這就使得批量計(jì)算的效率大大提高了。Intel的CPU從最早的MMX指令，發(fā)展的SSE，以及現(xiàn)在的AVX，AVX2，這些指令都可以統(tǒng)稱為SIMD指令。最初這些指令大部分是用于多媒體和圖形處理領(lǐng)域，現(xiàn)在也有計(jì)算引擎和數(shù)據(jù)庫(kù)系統(tǒng)開(kāi)始利用這些SIMD指令進(jìn)行加速。值得一提的是，顯卡的GPU也是類似SIMD的方式來(lái)工作的，所以也有數(shù)據(jù)庫(kù)開(kāi)始利用GPU進(jìn)行計(jì)算了。
這是一個(gè)利用了SIMD指令的數(shù)據(jù)庫(kù)系統(tǒng)的架構(gòu)圖
DPDK的作用就是利用Intel的高端網(wǎng)卡的特殊驅(qū)動(dòng)，可以使得在用戶態(tài)的普通程序繞過(guò)Linux內(nèi)核，直接控制網(wǎng)卡收發(fā)IP包。如果利用 DPDK 在用戶態(tài)實(shí)現(xiàn)了本來(lái)由Linux內(nèi)核實(shí)現(xiàn)的TCP協(xié)議棧。那么就可以用來(lái)提高類似 Kafka 這樣的純轉(zhuǎn)發(fā)的數(shù)據(jù)應(yīng)用場(chǎng)景的網(wǎng)絡(luò)性能。
Intel最近演示了利用他們家的ADR技術(shù)如何加速etcd數(shù)據(jù)庫(kù)的寫(xiě)入性能
這項(xiàng)技術(shù)的專利說(shuō)明在這里：https://www.google.com/patents/US20090089514
華為公司在這個(gè)基礎(chǔ)上有一個(gè)新的專利：http://www.google.com/patents/CN103544080A?cl=zh
在專利說(shuō)明里清晰地描述了 ADR 的工作機(jī)制
現(xiàn)今，為了保證存儲(chǔ)系統(tǒng)中數(shù)據(jù)的可靠性，通常會(huì)在存儲(chǔ)系統(tǒng)中增加備電單元，從而保證在電源異常和/或存儲(chǔ)系統(tǒng)異常的情況下，使得內(nèi)存數(shù)據(jù)不丟失，同時(shí)現(xiàn)今主流的備點(diǎn)單元是NVDIMM(Non-Volatile DIMM，非易失性內(nèi)存條)。該NVDIMM在保護(hù)數(shù)據(jù)時(shí)通常是通過(guò)通用的DIMM(Dual Inline Memory Modules，雙列直插式存儲(chǔ)模塊)接口與存儲(chǔ)系統(tǒng)連接。因此，當(dāng)存儲(chǔ)系統(tǒng)電源發(fā)生異常時(shí)，CPLD(Complex Programmable Logic Device,復(fù)雜可編程邏輯器件)產(chǎn)生中斷到PCH(Platform Controller Hub,集成南橋)芯片,在PCH中觸發(fā) ADR (Asynchronous Dram Refresh,異步內(nèi)存刷新)流程，使得 CPU (Central ProcessingUnit,中央處理器)將cache緩存中的數(shù)據(jù)寫(xiě)入NVDIMM中的DRAM(Dynamic Random AccessMemory，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)然后再將NVDIMM置為self-refresh自刷新模式，從而使得NVDIMM完成備電切換，將DRAM數(shù)據(jù)拷貝到flash閃存中保存。
簡(jiǎn)單來(lái)說(shuō)就是把一塊 <100MB 的內(nèi)存區(qū)域在斷電的時(shí)候自動(dòng)刷到 NVDIMM 中，而 NVDIMM 是一種在斷電時(shí)內(nèi)容不會(huì)丟失的內(nèi)存（http://baike.baidu.com/item/NVDIMM）。這類技術(shù)可以統(tǒng)稱為 Persistent Memory（http://pmem.io/）。
在過(guò)去數(shù)據(jù)庫(kù)為了提供durability，標(biāo)準(zhǔn)的做法都是把用戶的改動(dòng)寫(xiě)入一個(gè)叫做 Write Ahead Log (WAL)的日志文件里。然后調(diào)用操作系統(tǒng)的 fsync() 函數(shù)確保這個(gè)文件的內(nèi)容已經(jīng)被持久化到了磁盤(pán)上。然后再返回給用戶說(shuō)寫(xiě)入已經(jīng)成功。即便WAL文件的寫(xiě)入是順序?qū)?，但是磁盤(pán)的fsync操作仍然是昂貴的。Persistent Memory技術(shù)可以在將來(lái)被用于改善WAL的性能。Intel對(duì)etcd的性能優(yōu)化就是一個(gè)很好的榜樣。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/17484.html
摘要：和更多人組成了聯(lián)盟，以提高數(shù)據(jù)中心的性能。和是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個(gè)新的行業(yè)集團(tuán)，以提高數(shù)據(jù)中心的性能。是以數(shù)據(jù)為中心的計(jì)算的一個(gè)重要里程碑，它將成為開(kāi)放動(dòng)態(tài)加速器生態(tài)系統(tǒng)的基礎(chǔ)標(biāo)準(zhǔn)，英特爾技術(shù)計(jì)劃主管說(shuō)。Intel、Google、Microsoft和更多人組成了CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。Intel、Google和Microsoft是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個(gè)...
摘要：和更多人組成了聯(lián)盟，以提高數(shù)據(jù)中心的性能。和是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個(gè)新的行業(yè)集團(tuán)，以提高數(shù)據(jù)中心的性能。是以數(shù)據(jù)為中心的計(jì)算的一個(gè)重要里程碑，它將成為開(kāi)放動(dòng)態(tài)加速器生態(tài)系統(tǒng)的基礎(chǔ)標(biāo)準(zhǔn)，英特爾技術(shù)計(jì)劃主管說(shuō)。在上可以找到的。Intel、Google、Microsoft和更多人組成了CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。Intel、Google和Microsoft是九大技術(shù)巨頭之一，他...
摘要：在兩個(gè)平臺(tái)三個(gè)平臺(tái)下，比較這五個(gè)深度學(xué)習(xí)庫(kù)在三類流行深度神經(jīng)網(wǎng)絡(luò)上的性能表現(xiàn)。深度學(xué)習(xí)的成功，歸因于許多層人工神經(jīng)元對(duì)輸入數(shù)據(jù)的高表征能力。在年月，官方報(bào)道了一個(gè)基準(zhǔn)性能測(cè)試結(jié)果，針對(duì)一個(gè)層全連接神經(jīng)網(wǎng)絡(luò)，與和對(duì)比，速度要快上倍。 在2016年推出深度學(xué)習(xí)工具評(píng)測(cè)的褚曉文團(tuán)隊(duì)，趕在猴年最后一天，在arXiv.org上發(fā)布了的評(píng)測(cè)版本。這份評(píng)測(cè)的初版，通過(guò)國(guó)內(nèi)AI自媒體的傳播，在國(guó)內(nèi)業(yè)界影響很...
閱讀 1494·2021-10-14 09:43
閱讀 1058·2021-09-10 10:51
閱讀 1514·2021-09-01 10:42
閱讀 2263·2019-08-30 15:55
閱讀 636·2019-08-30 15:55
閱讀 2408·2019-08-30 14:21
閱讀 1778·2019-08-30 13:04
閱讀 3548·2019-08-29 13:09
