亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Cosbench基于對(duì)象存儲(chǔ)性能負(fù)載

IT那活兒 / 1846人閱讀
Cosbench基于對(duì)象存儲(chǔ)性能負(fù)載

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！




對(duì)象存儲(chǔ)介紹


 

1. 對(duì)象存儲(chǔ)定義
對(duì)象存儲(chǔ)是基于對(duì)象的存儲(chǔ)，是解決和處理離散單元的方法的通用術(shù)語。對(duì)象中包含數(shù)據(jù)，但對(duì)象在一個(gè)層結(jié)構(gòu)中不會(huì)再有層級(jí)結(jié)構(gòu)，每個(gè)對(duì)象都在存儲(chǔ)池的扁平地址空間的同一級(jí)別里，一個(gè)對(duì)象不會(huì)屬于另一對(duì)象。
每個(gè)對(duì)象都被分配一個(gè)唯一的標(biāo)識(shí)符，允許一個(gè)服務(wù)器或者最終用戶來檢索對(duì)象，而不必知道數(shù)據(jù)的物理地址。這種方法對(duì)于在云計(jì)算環(huán)境中自動(dòng)化和簡(jiǎn)化數(shù)據(jù)存儲(chǔ)很有幫助。
對(duì)象存儲(chǔ)核心是將數(shù)據(jù)讀寫和控制通元數(shù)據(jù)分離，并且基于對(duì)象存儲(chǔ)設(shè)備(OSD)構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備能夠自動(dòng)管理其上的數(shù)據(jù)分布。
2. 文件存儲(chǔ)、塊存儲(chǔ)、對(duì)象存儲(chǔ)的區(qū)別

  • 文件存儲(chǔ)

    文件存儲(chǔ)的用戶是自然人。計(jì)算機(jī)中所有的數(shù)據(jù)都是0和1，我們無法分辨和管理一連串的01組合，因此用“文件”概念對(duì)這些數(shù)據(jù)進(jìn)行組織，所有用途相同的數(shù)據(jù)按照不同應(yīng)用程序要求的結(jié)構(gòu)方式組成不同的文件，通常用不同的文件后綴來指代不同的類型，再給文件命名方便理解記憶的名字。

    當(dāng)文件很多的時(shí)候，按照某種劃分方式給這些文件分組，每一組文件放在同一個(gè)目錄里面，同樣也需要給目錄命名容易理解和記憶的名字。而且目錄下面除了文件還可以包含下一級(jí)目錄，即子目錄，所有的文件、目錄形成一個(gè)樹狀結(jié)構(gòu)。


  • 塊存儲(chǔ)

    文件系統(tǒng)是直接訪問存儲(chǔ)數(shù)據(jù)的硬件介質(zhì)的，硬件介質(zhì)不關(guān)心數(shù)據(jù)的組織方式和結(jié)構(gòu)。

    塊存儲(chǔ)是將數(shù)據(jù)按固定大小分塊，每一塊賦予一個(gè)用于尋址的編號(hào)。以機(jī)械硬盤為例，一塊就是一個(gè)扇區(qū)，老式硬盤是512字節(jié)大小，新硬盤是4K字節(jié)大小。老式硬盤用柱面-磁頭-扇區(qū)號(hào)組成的編號(hào)進(jìn)行尋址，現(xiàn)代硬盤用一個(gè)邏輯塊編號(hào)尋址，所以，硬盤也叫塊設(shè)備至于哪些塊組成一個(gè)文件，哪些塊記錄的是目錄/子目錄信息，這就是文件系統(tǒng)的事情了。


  • 對(duì)象存儲(chǔ)

    對(duì)象存儲(chǔ)其實(shí)介于塊存儲(chǔ)和文件存儲(chǔ)之間。

    文件存儲(chǔ)的樹狀結(jié)構(gòu)以及路徑訪問方式雖然方便理解、記憶和訪問，但計(jì)算機(jī)需要把路徑進(jìn)行分解，然后逐級(jí)向下查找，最后才能查找到需要的文件，對(duì)于應(yīng)用程序來說既沒必要，也很浪費(fèi)性能。而塊存儲(chǔ)是排它的，服務(wù)器上的某個(gè)邏輯塊被一臺(tái)客戶端掛載后，其它客戶端就無法訪問上面的數(shù)據(jù)了。

    為了解決文件存儲(chǔ)和塊存儲(chǔ)中的麻煩，使用一個(gè)統(tǒng)一的底層存儲(chǔ)系統(tǒng)來管理這些文件和底層介質(zhì)的組織結(jié)構(gòu)，然后給每個(gè)文件一個(gè)唯一標(biāo)識(shí)，其它系統(tǒng)需要訪問某個(gè)文件，直接提供文件的標(biāo)識(shí)就可以了。

    存儲(chǔ)系統(tǒng)可以用更高效的數(shù)據(jù)組織方式來管理這些標(biāo)識(shí)以及其對(duì)應(yīng)的存儲(chǔ)介質(zhì)上的塊。當(dāng)然，對(duì)于不同的軟件系統(tǒng)來說，一次訪問需要獲取的不一定是單個(gè)傳統(tǒng)意義上的文件，根據(jù)不同的需要可能是某個(gè)文件的一部分，也可能是多個(gè)文件的組合，甚至是某個(gè)塊設(shè)備，統(tǒng)稱為對(duì)象，即為對(duì)象存儲(chǔ)。

3. 華為對(duì)象存儲(chǔ)
華為FusionStorage是一款可大規(guī)模橫向擴(kuò)展的智能分布式存儲(chǔ)產(chǎn)品，是既具備云基礎(chǔ)架構(gòu)的彈性按需服務(wù)能力，又滿足企業(yè)關(guān)鍵業(yè)務(wù)需求的全自研存儲(chǔ)系統(tǒng)。
可向上層應(yīng)用提供塊存儲(chǔ)、對(duì)象存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)或文件存儲(chǔ)資源，且提供極致的性能和豐富的企業(yè)級(jí)特性；基于華為FusionStorage存儲(chǔ)系統(tǒng)，構(gòu)建高效、可靠和智能的新型存儲(chǔ)服務(wù)平臺(tái)，輕松應(yīng)對(duì)智能時(shí)代大規(guī)模數(shù)據(jù)敏捷存取需求。




CosBench介紹及部署



COSBench是Intel基于java開發(fā)的，用于對(duì)象存儲(chǔ)的性能測(cè)試，全稱是Cloud object Storage Bench。
COSBench包括控制臺(tái)controller和發(fā)起請(qǐng)求的driver，driver可以分布式部署，可以支持swift、s3、Openstack等接口。
下載地址：https://github.com/intel-cloud/cosbench/releases/tag/v0.4.2.c4
1. Linux環(huán)境部署CosBench
1）安裝Java
解壓Java JDK，在/etc/profile文件末尾追加如下內(nèi)容：
export JAVA_HOME=/home/cosbench/jdk1.8.0_102
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
執(zhí)行source/etc/profile命令使修改生效運(yùn)行java –version查看java版本信息。
2）部署CosBench
上傳CosBench壓縮包并解壓，直接在當(dāng)前節(jié)點(diǎn)啟動(dòng)CosBench controller和driver，默認(rèn)driver監(jiān)聽端口18088，controller監(jiān)聽端口19088，執(zhí)行以下命令啟動(dòng)cosbench。
2. Windows環(huán)境部署CosBench
1）安裝Java
2）部署CosBench
上傳CosBench壓縮包并解壓，直接在當(dāng)前節(jié)點(diǎn)啟動(dòng)CosBench controller和driver，默認(rèn)driver監(jiān)聽端口18088，controller監(jiān)聽端口19088，直接執(zhí)行start-all.bat啟動(dòng)cosbench。
3. CosBench頁面驗(yàn)證
瀏覽器地址欄輸入http://ip:19088/controller，頁面訪問正常，且driver狀態(tài)為綠色，則表示cosbench工具運(yùn)行成功。

4. Controller和Driver配置
controller和driver依賴不同的配置文件來啟動(dòng)，這些配置文件只是COSBench的配置，并不是workload配置，對(duì)象存儲(chǔ)的性能測(cè)試需要配置workload。

controller和driver配置文件的格式和內(nèi)容如下：
[controller]
drivers = 1
concurrency=1
log_level = INFO
log_file = log/system.log
archive_dir = archive
[driver1]
name = driver1
url = http://XXX.0.0.1:18088/driver





Workload運(yùn)行及配置


 

1. 運(yùn)行workload
CosBench提供了workload模板進(jìn)行參考：

  • S3-config-sample.xml是Amazon S3兼容存儲(chǔ)系統(tǒng)模板。

  • workload-config.xml提供了不同存儲(chǔ)類型的配置模板，并添加了注釋說明。

  • swift-config-sample.xml支持OpenStack Swift存儲(chǔ)系統(tǒng)。

在CosBench的controller主頁面點(diǎn)擊[submit new workloads]跳轉(zhuǎn)到Workload Submission頁面，點(diǎn)擊[選擇文件]選擇需要提交的workload文件’write_read1.xml’，點(diǎn)擊[submit]提交文件，提示’Success:your workload has been accepted!’即為提交成功。
Workload文件提交成功后會(huì)自動(dòng)運(yùn)行，點(diǎn)擊[view details]查看workload的運(yùn)行情況，該頁面顯示運(yùn)行時(shí)的性能數(shù)據(jù)。
2. 配置workload
Workload配置文件實(shí)際是XML文件：

  • Workload ——> workstage ——> work ——> operation。

  • workload可以定義一個(gè)或多個(gè)workstage。

  • 多個(gè)workstage按順序執(zhí)行，同一個(gè)workstage中的work是并發(fā)執(zhí)行的，每個(gè)work中的workers屬性即為負(fù)載并發(fā)數(shù)。

  • 認(rèn)證定義（auth）和存儲(chǔ)定義（storage）可以在多個(gè)級(jí)別定義，而較低級(jí)別的定義會(huì)覆蓋較高級(jí)別的定義。例如，operation用work中的auth和storage的定義，而不是workload級(jí)別的定義。

2.1 workload選擇表達(dá)式
Workload配置中，auth、storage、work、operation元素支持config屬性，config屬性包含可選參數(shù)列表，參數(shù)列表使用鍵值對(duì)格式，如下圖work、operation屬性所示。
Config參數(shù)列表中常用的鍵值對(duì)包括containers、objects、sizes，分別用于指定選擇的桶、對(duì)象、對(duì)象大小，containers指定的數(shù)字表示桶的編號(hào)(桶是存儲(chǔ)對(duì)象的容器)，objects指定的數(shù)字表示對(duì)象的編號(hào)，size指定的數(shù)字表示對(duì)象大小。
2.2 workload中的元素格式和屬性
1）workload格式及屬性：
<workload name="obs-sample" description="10-100-64kb-test">


2）Storage格式及屬性：
type="none|mock|swift|ampli|s3|obs|…" config="=;="/>


3）S3(Amazon S3)類型說明：
type="s3" config="accesskey=；secretkey=；
endpoint=；proxyhost=；proxyport="/>


4）obs類型說明：
<storage type="obs" config="accesskey=C1820CD98DB79C95E979;secretkey=KI0pKjBYN1d
mWdeV11Y6ctb9sc0AAAF9jbecldNO;endpoint=http://obs.telecomhb.com" />


5）workflow格式及屬性：
此步驟可在config中添加循環(huán)配置，參數(shù)說明如下：

如下示例表示循環(huán)workflow內(nèi)第3個(gè)到第5個(gè)workstage，循環(huán)3次。
2.3 Work格式及屬性
有五種不同類型的work(init、prepare、normal、cleanup、dispose)，不同類型的work有不同的應(yīng)用方式。
規(guī)則如下：

  • Worker：關(guān)鍵屬性，控制負(fù)載。

  • Runtime：控制work的運(yùn)行時(shí)長(zhǎng)，work中只能設(shè)置一個(gè)。

  • normal work的參數(shù)說明：

  • init work參數(shù)說明：

  • prepare work參數(shù)說明：

  • cleanup work參數(shù)說明：


  • dispose work參數(shù)說明：

  • operation格式及屬性：

操作類型示例說明：

  • Read操作 -- 100%讀，10workers，60秒。

"100r10c60s" workers="10" runtime="60">
type="read" ratio="100" config="..."/>

  • Write操作 -- 100%寫，10workers，60秒。

"100w10c60s" workers="10" runtime="60">
type="write" ratio="100" config="..."/>

  • Read/write混合操作 -- 80%讀，20%寫，100workers，300秒。

<work name="80r20w100c300s" workers="100" runtime="300">
<operation type="read" ratio="80" config="..."/>
<operation type="write" ratio="20" config="..."/>
work>





CosBench性能數(shù)據(jù)及使用技巧


 

1. 目錄結(jié)構(gòu)

  • .meta -- 初始運(yùn)行id；

  • run-history -- workload運(yùn)行情況，包括時(shí)間和主要階段；

  • workload -- 歷史workload運(yùn)行的總體性能數(shù)據(jù)；

  • Sub-directories -- 以w -為前綴，存儲(chǔ)每個(gè)workload的運(yùn)行數(shù)據(jù)。

2. 性能數(shù)據(jù)
性能結(jié)果數(shù)據(jù)存放在archive目錄，在archive中根據(jù)workload名稱進(jìn)行查找，保存有各執(zhí)行階段的性能數(shù)據(jù)。
Write操作結(jié)果數(shù)據(jù)：
Write時(shí)間段結(jié)果數(shù)據(jù)：
Write并發(fā)線程結(jié)果數(shù)據(jù)：
3. 使用技巧
3.1 Dispose階段失敗
原因：dispose階段主要是做刪桶操作，dispose階段失敗一般是cleanup階段清理對(duì)象不徹底導(dǎo)致的，因?yàn)橥爸杏袑?duì)象時(shí)，刪桶會(huì)失敗。
解決：檢查配置文件的cleanup階段是否清理了前面所有階段創(chuàng)建的對(duì)象，或者查看桶內(nèi)原來是否存在對(duì)象。如在prepare階段創(chuàng)建了部分對(duì)象，在main階段中配置了read、write兩種操作，read操作讀取prepare階段創(chuàng)建的對(duì)象，write操作又新創(chuàng)建了部分對(duì)象，那么在cleanup階段需要清理的對(duì)象就要包括prepare階段創(chuàng)建的對(duì)象和main階段創(chuàng)建的對(duì)象，這樣dispose階段才不會(huì)報(bào)錯(cuò)。另一種情況，cleanup階段清理了前面階段創(chuàng)建的所有對(duì)象，dispose還是失敗，可能是桶中初始就有部分對(duì)象存在，這部分對(duì)象在cleanup階段并沒有清理，桶內(nèi)仍然存在對(duì)象，導(dǎo)致刪桶失敗。
3.2 CosBench端口可配置
Cosbench的默認(rèn)監(jiān)聽端口是19088/18088，conf/controller-tomcat-server.xml中可以指定controller的端口，driver-tomcat-server.xml中可以指定driver的端口。
3.3 報(bào)錯(cuò)排查
workload.log（archive//workload.log），可以查看相關(guān)運(yùn)行細(xì)心和報(bào)錯(cuò)信息。
3.4 防止內(nèi)存溢出
cosbench-start腳本中指定Java進(jìn)程的最大堆大小，防止內(nèi)存溢出，如參數(shù)“-Xmx2g”表示將最大堆大小限制為2GB。
3.5 讀寫分布在不同的桶
可以在operation中分配要訪問的桶，以分割對(duì)不同桶的讀或?qū)?；可以使用“config”中的“containers”參數(shù)設(shè)置不同的桶范圍，如下，read在標(biāo)號(hào)為1、2的桶，write在標(biāo)號(hào)為3、4的桶。
<operation type=”read” ratio=”80” config=”containers=u(1,2);objects=u(1,50)”/>
<operation type=”write” ratio=”20” config=”containers=u(3,4);objects=u(51,100);sizes=c(64)KB”/>



END



本文作者：方 威

本文來源：IT那活兒（上海新炬王翦團(tuán)隊(duì)）

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/129477.html

相關(guān)文章

  • 騰訊云和阿里云對(duì)比哪個(gè)好？云計(jì)算優(yōu)勢(shì)測(cè)評(píng)

    摘要：騰訊云和阿里云針對(duì)按量計(jì)費(fèi)的云服務(wù)器，均要求賬戶內(nèi)有一定的余額騰訊云好像沒有最低充值要求，充值元即可阿里云要求賬戶內(nèi)至少有元余額?；谏鲜鲈?，我們分別在騰訊云和阿里云創(chuàng)建最低配版的云數(shù)據(jù)庫和。 云計(jì)算市場(chǎng)爭(zhēng)奪阿里云作為名副其實(shí)的國(guó)內(nèi)業(yè)界第一，名聲非常大，不過最近 IT 之家的事鬧出來之后，我有點(diǎn)慶幸最終沒有選擇它。騰訊云算是業(yè)界老二，而且有著騰訊這個(gè)強(qiáng)大的靠山，云服務(wù)產(chǎn)品的種類和質(zhì)量...

    zengdongbao 評(píng)論0 收藏0

  • 國(guó)內(nèi)公有云大幅降價(jià)后，首份一手云計(jì)算產(chǎn)品評(píng)測(cè)報(bào)告

    摘要：最近國(guó)內(nèi)公有云服務(wù)商掀起了一輪降價(jià)浪潮，繼阿里云上月宣布降價(jià)之后，騰訊云也在本月初推出全線降價(jià)優(yōu)惠。上個(gè)月阿里云在云棲大會(huì)上宣布降價(jià)，昨天騰訊云方面也推出了全線降價(jià)活動(dòng)，對(duì)包年包月產(chǎn)品均提供了大幅度的降價(jià)優(yōu)惠。 最近國(guó)內(nèi)公有云服務(wù)商掀起了一輪降價(jià)浪潮，繼阿里云上月宣布降價(jià)之后，騰訊云也在本月初推出全線降價(jià)優(yōu)惠。本文希望從云計(jì)算用戶的角度，通過真實(shí)的產(chǎn)品使用、評(píng)測(cè)，對(duì)降價(jià)后各家的產(chǎn)品性價(jià)...

    3fuyu 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<