摘要：層確保數(shù)據(jù)一致性和可靠性。元數(shù)據(jù)服務(wù)器，跟蹤文件層次結(jié)構(gòu)并存儲只供使用的元數(shù)據(jù)。這些文件系統(tǒng)擴展屬性能夠為守護進程提供內(nèi)部對象的狀態(tài)快照元數(shù)據(jù)和等信息這有助于數(shù)據(jù)管理。

啟迪云－高級開發(fā)工程師 ?侯玉彬

前言

前文回顧：《開源社區(qū)的明星項目—Ceph談》

上一次簡單的介紹Ceph的過去和未來的發(fā)展。這一節(jié)將詳細(xì)介紹Ceph的構(gòu)件以及組件。

Ceph存儲架構(gòu)

Ceph 存儲集群由幾個不同的daemon組成，每個daemon負(fù)責(zé)Ceph 的一個獨特功能并。每個守護進程是彼此獨立的。

下面將簡要介紹每個Ceph組件的功能：

RADOS（Reliable Autonomic Distributed Object Store， RADOS）

RADOS是Ceph 存儲集群的基礎(chǔ)。Ceph 中的一切都以對象的形式存儲，而RADOS 就負(fù)責(zé)存儲這些對象，而不考慮它們的數(shù)據(jù)類型。RADOS 層確保數(shù)據(jù)一致性和可靠性。對于數(shù)據(jù)一致性，它執(zhí)行數(shù)據(jù)復(fù)制、故障檢測和恢復(fù)。還包括數(shù)據(jù)在集群節(jié)點間的recovery。

OSD

實際存儲數(shù)據(jù)的進程。通常一個OSD daemon綁定一個物理磁盤。Client write／read 數(shù)據(jù)最終都會走到OSD去執(zhí)行write／read操作。

MON（monitor）

Monitor在Ceph集群中扮演者管理者的角色，維護了整個集群的狀態(tài)，是Ceph集群中最重要的組件。

Mon保證集群的相關(guān)組件在同一時刻能夠達(dá)成一致，相當(dāng)于集群的領(lǐng)導(dǎo)層，負(fù)責(zé)收集、更新和發(fā)布集群信息。為了規(guī)避單點故障，在實際的Ceph部署環(huán)境中會部署多個Mon，同樣會引來多個Mon之前如何協(xié)同工作的問題。在一個標(biāo)準(zhǔn)的Ceph環(huán)境中，Monitor的功能可以分為以下兩點

管好自己

多個monitor之間如何協(xié)同工作，怎么同步數(shù)據(jù)；

管理集群信息

數(shù)據(jù)的存儲，保證數(shù)據(jù)存儲的正確性等等。

Librados

簡化訪問RADOS的一種方法，目前支持PHP、Ruby、Java、Python、C和C＋＋語言。它提供了Ceph 存儲集群的一個本地接口RADOS ，并且是其他服務(wù)（如RBD 、RGW） 的基礎(chǔ)，以及為CephFS 提供POSIX 接口。librados API 支持直接訪問RADOS ，使得開發(fā)者能夠創(chuàng)建自己的接口來訪問Ceph 集群存儲。

RBD

Ceph塊設(shè)備。對外提供塊存儲?？梢韵翊疟P一樣被映射、格式化已經(jīng)掛載到服務(wù)器上。支持snapshot。

RGW

Ceph對象網(wǎng)關(guān)，提供了一個兼容S3和Swift的restful API接口。RGW還支持多租戶和Openstack的keyston身份驗證服務(wù)。

MDS

Ceph元數(shù)據(jù)服務(wù)器，跟蹤文件層次結(jié)構(gòu)并存儲只供CephFS使用的元數(shù)據(jù)。Ceph塊設(shè)備和RADOS網(wǎng)關(guān)不需要元數(shù)據(jù)。MDS不直接給client提供數(shù)據(jù)服務(wù)。

CephFS

提供了一個任意大小且兼容POSlX的分布式文件系統(tǒng)。CephFS 依賴Ceph MDS 來跟蹤文件層次結(jié)構(gòu)，即元數(shù)據(jù)。

Ceph RADOS

RADOS 是Ceph 存儲系統(tǒng)的核心，也稱為Ceph 存儲集群。Ceph 的所有優(yōu)秀特性都是由RADOS 提供的，包括分布式對象存儲、高可用性、高可靠性、沒有單點故障、向我修復(fù)以及自我管理等。RADOS 層在Ceph 存儲架構(gòu)中扮演著舉足輕重的角色。Ceph 的數(shù)據(jù)訪問方法（如RBD 、CephFS 、RADOS GW 和librados ） 的所有操作都是在RADOS 層之上構(gòu)建的。

當(dāng)Ceph 集群接收到來向客戶端的寫請求時，CRUSH 算法首先計算出存儲位置，以此決定應(yīng)該將數(shù)據(jù)寫入什么地方。然后這些信息傳遞到隊DOS 層進行進一步處理?；贑RUSH 規(guī)則集，RADOS 以小對象的形式將數(shù)據(jù)分發(fā)到集群內(nèi)的所有節(jié)點。最后，將這些對象存儲在OSD 中。

當(dāng)配置的復(fù)制數(shù)大于1時，隊DOS 負(fù)責(zé)數(shù)據(jù)的可靠性。同時，它復(fù)制對象，創(chuàng)建副本，并將它們存儲在不同的故障區(qū)域中，換言之，同一個對象的副本不會存放在同一個故障區(qū)域中。然而，如果有更多個性化需求和更高的可靠性，就需要根據(jù)實際需求和基礎(chǔ)架構(gòu)來優(yōu)化CRUSH 規(guī)則集。RADOS 能夠保證在一個RADOS 集群中的對象副本總是不少于一個，只要你有足夠的設(shè)備。

除了跨集群存儲和復(fù)制對象之外，RADOS 也確保對象狀態(tài)的一致性。在對象不一致的情況下，將會利用剩下的副本執(zhí)行恢復(fù)操作。這個操作自動執(zhí)行，對于用戶而言是透明的，從而為Ceph 提供了自我管理和自我修復(fù)的能力。如果仔細(xì)分析Ceph 的架構(gòu)圖，你會發(fā)現(xiàn)它有兩部分： RADOS 在最下部，它完全處于Ceph集群的內(nèi)部，沒有提供給客戶端直接接口；另一部分就是在RADOS 之上的面向所有客戶端的接口。

Ceph 對象存儲設(shè)備

Ceph 的OSD 是Ceph 存儲集群中最重要的一個基礎(chǔ)組件，它負(fù)責(zé)將實際的數(shù)據(jù)以對象的形式存儲在每一個集群節(jié)點的物理磁盤驅(qū)動器中。Ceph 集群中的大部分工作是由OSD 守護進程完成的。存儲用戶數(shù)據(jù)是真正最耗時的部分。

Ceph OSD 以對象的形式存儲所有客戶端數(shù)據(jù)，并在客戶端發(fā)起數(shù)據(jù)請求時提供相同的數(shù)據(jù)。Ceph 集群包含多個OSD 。對于任何讀或?qū)懖僮鳎蛻舳耸紫认騧onitor 請求集群的map ，然后，它們就可以無須monitor 的干預(yù)直接與OSD 進行I／O操作也正是因為產(chǎn)生數(shù)據(jù)的客戶端能夠直接寫入存儲數(shù)據(jù)的OSD 而沒有任何額外的數(shù)據(jù)處理層，才使得數(shù)據(jù)事務(wù)處理速度如此之快。與其他存儲解決方案相比，這種類型的數(shù)據(jù)存儲和取回機制是Ceph 所獨有的。

Ceph 的核心特性（比如可靠性、自平衡、自恢復(fù)和一致性）都始于OSD 。根據(jù)配置的副本數(shù)， Ceph通過跨集群節(jié)點復(fù)制每個對象多次來提供可靠性，同時使其具有高可用性容錯性。OSD 上的每個對象都有一個主副本和幾個輔副本，輔副本分散在其他OSD 上。由于Ceph 是一個分布式系統(tǒng)且對象分布在多個OSD 上，因此每一個OSD 對于一些對象而言是主副本。但同時對于其他對象而言就是輔副本，存放輔副本的OSD 受主副本OSD 控制；然而，它們也可能又成為主副本OSD 。

Ceph的OSD由一個已經(jīng)存在Linux 文件系統(tǒng)的物理磁盤驅(qū)動器和10SD 服務(wù)組成。

Linux文件系統(tǒng)對于OSD 守護進程而言是相當(dāng)重要的，因為它決定了支持哪些擴展屬性（ XATTR） 。這些文件系統(tǒng)擴展屬性能夠為OSD 守護進程提供內(nèi)部對象的狀態(tài)、快照、元數(shù)據(jù)和ACL 等信息．這有助于數(shù)據(jù)管理。

OSD在擁有有效Linux 分區(qū)的物理磁盤驅(qū)動器上進行操作。Linux 分區(qū)可以是Btrfs （B樹文件系統(tǒng)）、XFS 或ext4。Ceph 集群的性能基準(zhǔn)測試的主要標(biāo)準(zhǔn)之一就是文件系統(tǒng)的選擇。

Btrfs

與使用XFS 和ext4 文件系統(tǒng)的OSD 相比，使用Btrfs 文件系統(tǒng)的OSD 能夠提供更佳的性能。使用Btrfs 最主要的一個優(yōu)點是支持寫時復(fù)制和可寫的快照，這對于慮擬機的部署和克隆非常有用。在文件系統(tǒng)中它還支持透明的壓縮、普遍的校驗和多設(shè)備的統(tǒng)一管理。還支持高效的XATTR 、對于小文件的合井，還有SSD上所熟知的集成卷管理，并支持在線fsck 的特性。然而，盡管有如此多的新特性，Btrfs 目前還不具備應(yīng)用于生產(chǎn)系統(tǒng)的條件，但對于測試而言它是一個很好的選擇。

XFS

這是一個可靠、成熟且非常穩(wěn)定的文件系統(tǒng)，因此，我們推薦在生產(chǎn)環(huán)境的Ceph 集群中使用它。XFS 是Ceph存儲中最常用的文件系統(tǒng)．也是推薦OSD 使用的文件系統(tǒng)。然而，從另一個方面來看，XFS 又不如Btrfs。XFS 在元數(shù)據(jù)擴展性上存在性能問題，XFS 也是一種日志文件系統(tǒng)， 也就是說．每次客戶端發(fā)送數(shù)據(jù)以寫入Ceph 集群時，肯先需要寫人口志空間，然后再寫入XFS 文件系統(tǒng)這樣的兩次寫入操作增加了開銷從而使得XFS 的性能不如Btrfs，Btrfs 沒有使用日志。

Ext4

ext4 文件系統(tǒng)也是一種日志文件系統(tǒng)，是一個遠(yuǎn)合生產(chǎn)環(huán)境下Ceph OSD 使用的文件系統(tǒng)；然而，它的受歡迎程度不如XFS 。從性能的角度來看，ext4 文件系統(tǒng)也不如Btrfs。

Ceph OSD 使用諸如Btrfs 和XFS 的日志文件系統(tǒng)。在將數(shù)據(jù)提交到備用存儲之前，Ceph 首先將數(shù)據(jù)寫入一個稱為日志（ journal） 的獨立存儲區(qū)域，日志是相同的機械磁盤（如OSD） 或不同的SSD 磁盤或分區(qū)上一小塊緩沖區(qū)大小的分區(qū)，甚至也可以是文件系統(tǒng)上的一個文件。在這種機制中，Ceph 的所有寫都是先到日志，然后再到備用存儲，如下圖所示。