亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

SSD助陣云端 Amazon成就I/O新體系

nanchen2251 / 1993人閱讀

摘要：新的基于的實(shí)例能提供數(shù)百倍于其他儲存方式的吞吐量，以及極低延遲。雖然吞吐量受限制比原有系統(tǒng)減少，但卻將延遲減少到了平均線下很多。這樣就說明我們用來替代和在獲得同樣吞吐量的同時(shí)可以獲得更低的延遲。

為了滿足更多用戶在存儲和檢索大量數(shù)據(jù)、提供豐富與個(gè)性化體驗(yàn)、及時(shí)響應(yīng)點(diǎn)擊與手勢的要求，新型互聯(lián)網(wǎng)與移動(dòng)應(yīng)用需要高I/O資源。為此，亞馬遜AWS旨在EC2中加入一個(gè)新的“家庭成員”：運(yùn)行低延遲、I/O密集型應(yīng)用、支持NoSQL數(shù)據(jù)庫如Cassandra和MongoDB的新實(shí)例，打破了一直存在于云世界的I/O瓶頸。真金不怕火煉，讓我們來看看新的I/O體系究竟如何！

測試基準(zhǔn)的制定

去年公布的Apache Cassandra performance benchmark顯示，用數(shù)百個(gè)非常小的EC2實(shí)例就可以獲得類似每秒超過百萬客戶端進(jìn)行寫入的效果。之前測試了用于Cassandra上建立和管理軟件Priam的擴(kuò)展性，并證明了，大規(guī)模的Cassandra集群按線性擴(kuò)大，也就是10倍數(shù)量的實(shí)例將讓你獲得10倍的吞吐量。現(xiàn)在我們發(fā)布了一些基準(zhǔn)它能體現(xiàn)出在原有類型系統(tǒng)和新的基礎(chǔ)SSD的系統(tǒng)上運(yùn)行Cassandra的對比。

AWS實(shí)例中的I/O元素摘要

已有幾個(gè)臨時(shí)的儲存元素被存于網(wǎng)絡(luò)磁盤中，它們將在實(shí)例結(jié)束后被刪除?；诂F(xiàn)有內(nèi)部磁盤在Cassandra環(huán)境中進(jìn)行的測試對比，主要采用了四個(gè)方案：m1.xlarge、m2.4xlarge、cc2.8xlarge以及現(xiàn)在加入的SSD hi1.4xlarge。AWS CPU性能對應(yīng)了EC2的每一種實(shí)例。

我們首先在擁有較好CPU平衡性的Netflix上使用m2.4xlarge來運(yùn)行Cassandra，盡管我們還必須通過調(diào)度每一個(gè)節(jié)點(diǎn)的精簡和修復(fù)來不讓I/0過載，但CPU和RAM容量仍然為我們工作的重中之重。

基于SSD實(shí)例上的hi1.4xlarge

這種新的基于SSD的類型實(shí)例在臨時(shí)存儲中提供了很高性能。在/proc/cpuinfo的報(bào)告中顯示CPU為2.4GHz擁有8個(gè)核心和超線程技術(shù)的Intel Westmere E5620?，這樣就擁有了16個(gè)CPU線程。其CPU性能上介于m2.4xlarge和cc2.8xlarge之間，相同的RAM容量，和cc2.8xlarge同樣的10GB網(wǎng)絡(luò)接口。

磁盤的結(jié)構(gòu)為兩個(gè)1TB左右大的SSD，使實(shí)例能勝任100000左右的低延遲IOPS和1GB每秒的吞吐量。新的基于SSD的實(shí)例能提供數(shù)百倍于其他儲存方式的吞吐量，以及極低延遲。

測試結(jié)果

首先，對于一個(gè)新的子系統(tǒng)，我們必須做基礎(chǔ)文件系統(tǒng)的性能等級測試，我們使用izone測試準(zhǔn)則來查證我們在當(dāng)前的磁盤條件下一個(gè)非常短的時(shí)間內(nèi)（大約20—60/ms）是否可以得到100000的IOPS和1GB/S的吞吐量。

然后我們用Cassandra的壓力測試來用簡單的數(shù)據(jù)存儲模式對一個(gè)小型的數(shù)據(jù)集進(jìn)行存儲，類似我們?nèi)ツ旯嫉臏?zhǔn)則。我們發(fā)現(xiàn)我們的測試經(jīng)常受到CPU限制，但是在啟動(dòng)的那小段時(shí)間隨著數(shù)據(jù)加載進(jìn)存儲器，我們?nèi)匀豢梢栽诖疟P上得到接近1GB/每秒的吞吐量。

接著就是更多的混合，我們?nèi)〕鑫覀儍Υ嬖贑assandra中較大的數(shù)據(jù)和從備份中恢復(fù)兩份拷貝。一份在m2.4xlarge上，另一份在hi1.4xlarge上，這樣我們就可以得出在同等的條件下以SSD為基礎(chǔ)的新模塊究竟有多完善。下一個(gè)將會是最有意思的對比。

Netflix的應(yīng)用基準(zhǔn)測試

我們的架構(gòu)是精細(xì)入微的，每一個(gè)開發(fā)團(tuán)隊(duì)都擁有自己的一套服務(wù)和數(shù)據(jù)存儲。結(jié)果就是，我們的產(chǎn)品中擁有十個(gè)Cassandra集群，每一個(gè)都服務(wù)于不同的數(shù)據(jù)源。我們從中抽取一個(gè)擁有靜態(tài)數(shù)據(jù)提供應(yīng)用程序的集群，該應(yīng)用程序使用了聘美于Cassandra為寫操作提供的緩存層來完成讀的工作。我們的目的是想知道，在不使用系統(tǒng)緩存的情況下使用SSD是否會帶來延遲。用EVcache來管理緩存層。下面是兩項(xiàng)配置的對比：

  • 現(xiàn)有的系統(tǒng): 48 Cassandra on m2.4xlarge. 36 EVcache on m2.xlarge.
  • ?基于SSD系統(tǒng): 12 Cassandra on hi1.4xlarge.

這項(xiàng)實(shí)驗(yàn)是我們做過實(shí)驗(yàn)中最復(fù)雜的實(shí)驗(yàn)之一并伴有巨額的工作量。它需要做到每秒數(shù)萬的讀入和數(shù)千的寫入。測試中發(fā)現(xiàn)，在原有系統(tǒng)中，EVcacha做了大部分讀入的工作。為了保持穩(wěn)定的運(yùn)行巨量的內(nèi)存被用于減少I/O的工作量。

在基于SSD的系統(tǒng)中，同樣的工作量仍有大量的IOPS剩余并且在沒有影響延遲的情況下做了同樣的精簡運(yùn)算。雖然吞吐量受CPU限制比原有系統(tǒng)減少20%，但卻將延遲減少到了平均線下很多。這樣就說明我們用hi1.4xlarge來替代48m2.4xlarge和36 m2.xlarge在獲得同樣吞吐量的同時(shí)可以獲得更低的延遲。

成本對比

在使用基于SSD模式的系統(tǒng)中，瓶頸從I/O轉(zhuǎn)換到CPU上，我們就可以大量的減少實(shí)例個(gè)數(shù)。參照了現(xiàn)有的收費(fèi)體系，完全可以通過減少實(shí)例數(shù)量來減少花費(fèi)。

將Cassandra上的工作放到SSD上的優(yōu)勢?

  • 同吞吐量的成本大幅降低
  • 大幅提升I/O的速度，降低延時(shí)

總結(jié)

這是AWS一次突破性的提升，無疑的克服了應(yīng)用程序受制于數(shù)據(jù)庫連接的囧境，給云端的人們帶來了福音。我們期待作為云世界的領(lǐng)跑者Aamazon能一直與時(shí)俱進(jìn)，為云世界的開拓和完善做出新的貢獻(xiàn)。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/3967.html

相關(guān)文章

  • 做云計(jì)算時(shí)代的數(shù)據(jù)庫 Amazon Aurora成就數(shù)據(jù)之美

    摘要：在科技業(yè)，時(shí)代變遷帶來的劇變同樣十分明顯，從傳統(tǒng)時(shí)代到云計(jì)算時(shí)代，數(shù)據(jù)不再只是沉睡的寶藏，數(shù)據(jù)庫的作用和價(jià)值正變得尤為突出。真因?yàn)槿绱?，順?yīng)云計(jì)算時(shí)代而生的成為公司歷史上發(fā)展最快的服務(wù)，在過去兩年間，通過其數(shù)據(jù)庫遷移服務(wù)遷移了超過個(gè)數(shù)據(jù)庫。19世紀(jì)，愛馬仕還是一家專門制作各種精美馬具的作坊，但到了20世紀(jì)，汽車逐漸取代馬車，愛馬仕不得不從馬具轉(zhuǎn)向皮具，從而成就了這一世界級奢侈品品牌；1975...

    renweihub 評論0 收藏0

  • dockercon17 Day2|金融+保險(xiǎn)助陣，Docker企業(yè)級初現(xiàn)崢嶸

    摘要：如果說是主要針對和的三個(gè)關(guān)鍵信息成長和，那么上午則是專注的企業(yè)級應(yīng)用。將以季度為單位進(jìn)行版本更新。天的已經(jīng)接近尾聲，金融保險(xiǎn)兩大客戶現(xiàn)身說法，企業(yè)級初現(xiàn)崢嶸，從技術(shù)到商業(yè)落地，從開發(fā)者到企業(yè)級用戶，容器世界的大門已經(jīng)打開。 If the container ecosystem succeeds, Docker succeeds. showImg(https://segmentfault...

    NervosNetwork 評論0 收藏0

  • 云端IaaS之戰(zhàn) 谷歌GCE、亞馬遜EC2性能對比

    摘要：對于我們這些在云計(jì)算領(lǐng)域中的人來說，最令人激動(dòng)的事情莫過于在今年的大會上發(fā)布了。另一則重大消息就是進(jìn)入了云計(jì)算領(lǐng)域，不過當(dāng)前占主導(dǎo)地位的仍是。與使用當(dāng)前的核擁有最快速度的實(shí)例模型進(jìn)行對比。使用默認(rèn)的設(shè)置中，兩種類別的都比快。 對于我們這些在云計(jì)算領(lǐng)域中的人來說，最令人激動(dòng)的事情莫過于在今年的Google I/O大會上發(fā)布了Google Glass。另一則重大消息就是Google進(jìn)入了云計(jì)算...

    wangbjun 評論0 收藏0

  • 大型云提供商的云端閃存存儲

    摘要：云端閃存部署細(xì)節(jié)塊存儲僅可用于連接到虛擬實(shí)例或虛擬機(jī)。在這些產(chǎn)品中，只有彈性塊存儲具有明確使用閃存存儲的功能。谷歌云平臺提供三種主要存儲選項(xiàng)云存儲對象永久磁盤塊和云文件存儲文件。隨著閃存存儲價(jià)格下降且設(shè)備容量提升，閃存存儲逐漸成為企業(yè)的首選存儲選項(xiàng)。公共云平臺上的存儲同樣是如此，這些平臺具有基于固態(tài)的存儲產(chǎn)品，可為需要存儲功能的應(yīng)用程序提高性能和吞吐量。本文中，讓我們來看看哪些閃存作為云存儲...

    Maxiye 評論0 收藏0

發(fā)表評論

0條評論

最新活動(dòng)
閱讀需要支付1元查看
<