摘要：目前，對(duì)象存儲(chǔ)是這些海量非結(jié)構(gòu)化數(shù)據(jù)最好的存儲(chǔ)載體。宋體做式的對(duì)象存儲(chǔ)宋體是年推出的對(duì)象存儲(chǔ)產(chǎn)品。宋體二業(yè)務(wù)低成本宋體對(duì)象級(jí)別的分層存儲(chǔ)宋體采用專門的存儲(chǔ)機(jī)型，存儲(chǔ)密度更高，單位存儲(chǔ)的成本最低可降到計(jì)算機(jī)型的。

隨著 5G+IoT 時(shí)代來臨，產(chǎn)生數(shù)據(jù)的主角除了人類還有海量的物理設(shè)備，相比 4G 移動(dòng)互聯(lián)網(wǎng)的短視頻、直播等，會(huì)有更大量的數(shù)據(jù)產(chǎn)生。據(jù) IDC 發(fā)布的《數(shù)據(jù)時(shí)代 2025》的預(yù)測，全球每年產(chǎn)生的數(shù)據(jù)將從 2018 年的 33ZB 增長到 2025 年的 175ZB，每年新增約 20ZB，如果使用 8T 的磁盤，只保存一份副本，每年需要 25 億塊磁盤，數(shù)億臺(tái)主機(jī)。

這些數(shù)據(jù)大多以視頻、圖片、文本等非結(jié)構(gòu)化形式存在，并需要妥善保存以做后續(xù)利用。為此，數(shù)據(jù)的存儲(chǔ)載體需要具備隨時(shí)隨地上傳、安全、可擴(kuò)展以及低成本的特性。目前，對(duì)象存儲(chǔ)是這些海量非結(jié)構(gòu)化數(shù)據(jù)最好的存儲(chǔ)載體。

UFile：做 Costco 式的對(duì)象存儲(chǔ)

UFile 是 UCloud 2015 年推出的對(duì)象存儲(chǔ)產(chǎn)品。過去一年間，UFile 從整體上做了一次較大升級(jí)，推出不少功能特性和優(yōu)化，更好地滿足用戶對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的需求。這一過程中，UFile 將其產(chǎn)品理念概括為 “成為 Costco 式的存儲(chǔ)”，為什么是 Costco 式的？

圖：UFile 控制臺(tái)界面

前段時(shí)間量販?zhǔn)絺}儲(chǔ)會(huì)員店 Costco 在國內(nèi)火爆開業(yè)，在一個(gè)既不缺線下商超、同時(shí)線上電商更是遍地開花，市場競爭異常激烈的中國市場，Costco 靠什么去切入用戶？雷軍是這么評(píng)價(jià) Costco 的：“Costco 這么多年所向披靡的最重要原因就是抓住了其存在的本質(zhì)，商品做到極好，價(jià)格做到極低，服務(wù)做到超預(yù)期?！?/p>

這個(gè)理念也同樣適用于對(duì)象存儲(chǔ)領(lǐng)域，UFile 把用戶最本質(zhì)的需求概括為 3 點(diǎn)：極高的可靠性和性能、極低的成本以及極優(yōu)的體驗(yàn)。

對(duì)象存儲(chǔ)的三個(gè)典型案例

在介紹 UFile 之前，我們先來看看 AI、大數(shù)據(jù)和 IoT 場景下的 3 個(gè)案例：

1

某傳統(tǒng)金屬件加工企業(yè)原本有這樣一項(xiàng)業(yè)務(wù)：員工人力摘撿不合格產(chǎn)品。現(xiàn)在，該項(xiàng)業(yè)務(wù)轉(zhuǎn)變?yōu)榕恼杖∽C＋AI 智能檢測的方式，相較之前大大節(jié)省了企業(yè)的人力投入成本，并降低了人工檢測的誤差。同時(shí)也產(chǎn)生了一項(xiàng)新需求：所有圖片數(shù)據(jù)需保存 25 年以供后續(xù)質(zhì)保檢驗(yàn)。

用戶的需求：如何保證數(shù)據(jù)長時(shí)間存儲(chǔ)的高可靠需求？

2

某大數(shù)據(jù)分析企業(yè)積攢了數(shù)個(gè) PB 的大數(shù)據(jù)，在完成分析后這些數(shù)據(jù)的訪問量降到較低，但在一段時(shí)間內(nèi)仍需存儲(chǔ)保留原始數(shù)據(jù)或者分析后的中間數(shù)據(jù)。對(duì)企業(yè)來講，這數(shù) PB 的數(shù)據(jù)存儲(chǔ)將會(huì)是一筆不小的開銷。

用戶的需求：如何實(shí)現(xiàn)海量數(shù)據(jù)的低成本存儲(chǔ)需求？

3

某城市地鐵每天停運(yùn)后都需要人工沿地鐵進(jìn)行檢修，效率較低且需要大量人力的投入。因此計(jì)劃引入 IoT 技術(shù)：在地鐵中部署一些傳感器，檢測地鐵的聲音、溫度、圖像、視頻等，數(shù)據(jù)使用 4G 網(wǎng)絡(luò)隨時(shí)隨地上傳到云端存儲(chǔ)，解決人力工作成本并提高檢修效率。

用戶的需求：這些分散在地下各處的傳感器如何方便、安全、低延時(shí)的進(jìn)行數(shù)據(jù)的上傳？

我們總結(jié)了這三個(gè)案例的關(guān)鍵字：高可靠、低成本、使用體驗(yàn)，下面我們來詳細(xì)介紹 UFile 在這三方面所做的工作。

一 、數(shù)據(jù)高可靠

1、多副本 + 同構(gòu)的冗余機(jī)制

首先，UFile 采用 3 副本和糾刪碼技術(shù)，可以確保數(shù)據(jù)在兩塊磁盤損壞的時(shí)候數(shù)據(jù)不丟失。不同于類似 Ceph 異構(gòu)的數(shù)據(jù)分布技術(shù)，UFile 3 副本技術(shù)采用同構(gòu)的數(shù)據(jù)分布方式，這種同構(gòu)的數(shù)據(jù)分布可以保證數(shù)據(jù)更高的可靠性。

圖：同構(gòu)與異構(gòu)數(shù)據(jù)分布對(duì)比

從上圖可知，同構(gòu)情況下只有集群 a 或者 b 同時(shí)損壞 2 種丟失數(shù)據(jù)的可能情況，而在異構(gòu)結(jié)構(gòu)下有 6 種丟失數(shù)據(jù)的組合情況，同構(gòu)的可靠性顯然更高。

2、跨地域的數(shù)據(jù)災(zāi)備

UFile 是一個(gè)地域級(jí)別的存儲(chǔ)產(chǎn)品，為了更好的提供數(shù)據(jù)災(zāi)備能力，UFile 今年推出了跨地域的災(zāi)備功能：支持 3 個(gè)及以上的地域復(fù)制，復(fù)制方式包括鏈?zhǔn)浇Y(jié)構(gòu)（A->B->C）與技術(shù)實(shí)現(xiàn)更復(fù)雜的環(huán)式結(jié)構(gòu)（A->B->C->A）。環(huán)狀結(jié)構(gòu)的優(yōu)點(diǎn)是能夠支持更多地域的讀寫，并滿足就近讀寫業(yè)務(wù)的需求。

圖：多地域復(fù)制及就近讀寫功能示意

3、故障處理機(jī)制的完善和創(chuàng)新

除此之外，UFile 還在故障的快速發(fā)現(xiàn)和恢復(fù)上做了不少創(chuàng)新。除應(yīng)用常規(guī)的硬件和軟件層面的監(jiān)控幫助用戶快速發(fā)現(xiàn)數(shù)據(jù)異常外，UFile 采用 Set 化的架構(gòu)設(shè)計(jì)，當(dāng)出現(xiàn)機(jī)器或磁盤故障時(shí)，可以將該 Set 集群設(shè)置為只讀，從而降低該 Set 集群的業(yè)務(wù)負(fù)載，幫助恢復(fù)程序以最快的速度恢復(fù)故障磁盤或機(jī)器，大大提高數(shù)據(jù)的可靠性。

二 、業(yè)務(wù)低成本

1、對(duì)象級(jí)別的分層存儲(chǔ)

UFile 采用專門的存儲(chǔ)機(jī)型，存儲(chǔ)密度更高，單位存儲(chǔ)的成本最低可降到計(jì)算機(jī)型的 15%。同時(shí)采用糾刪碼技術(shù)，在確保數(shù)據(jù)可靠性的前提下，存儲(chǔ)成本可降低到 3 副本冗余機(jī)制下的 40% 左右。

此外，UFile 還對(duì)數(shù)據(jù)分層和數(shù)據(jù)生命周期管理進(jìn)行了優(yōu)化，致力于從數(shù)據(jù)分層存儲(chǔ)的角度進(jìn)一步降低用戶存儲(chǔ)的成本。

用戶業(yè)務(wù)往往同時(shí)存在高頻和低頻訪問的數(shù)據(jù)，而相同數(shù)據(jù)在不同生命周期也存在不同的訪問頻率。一個(gè)剛產(chǎn)生的高頻訪問的數(shù)據(jù)，隨著時(shí)間的推移訪問頻率往往會(huì)逐漸減低，數(shù)個(gè)月后便可能從高頻轉(zhuǎn)為低頻。不同訪問頻率的數(shù)據(jù)可采用不同成本的存儲(chǔ)方案。

業(yè)內(nèi)早期的解決方案是通過支持熱、溫、冷 3 種存儲(chǔ)產(chǎn)品來滿足不同頻率訪問數(shù)據(jù)的要求，用戶分別在 3 種存儲(chǔ)產(chǎn)品上創(chuàng)建 Bucket，然后根據(jù)數(shù)據(jù)的訪問頻率放置到對(duì)應(yīng)的 Bucket。按照用戶設(shè)置的時(shí)間規(guī)則，在不同時(shí)間點(diǎn)數(shù)據(jù)會(huì)在 3 種 Bucket 進(jìn)行遷移。這種解決方案雖然解決了數(shù)據(jù)存儲(chǔ)的成本問題，但是缺點(diǎn)在于對(duì)業(yè)務(wù)不太友好，需要業(yè)務(wù)感知這種變化。

圖：傳統(tǒng)的分層存儲(chǔ)數(shù)據(jù)流轉(zhuǎn)示意

針對(duì)該問題，UFile 在今年推出了對(duì)象級(jí)別的分層存儲(chǔ)方案。和傳統(tǒng)解決方案不一樣的是，UFile 支持同個(gè) Bucket 中同時(shí)存在熱、溫、冷 3 種數(shù)據(jù)，用戶可以將同個(gè)業(yè)務(wù)中的 3 種數(shù)據(jù)上傳到同個(gè) Bucket，同時(shí)數(shù)據(jù)訪問頻率發(fā)生變化后還會(huì)保留在同個(gè) Bucket 中。

這種方案對(duì)用戶的業(yè)務(wù)更加友好，而且也為后續(xù)即將推出的數(shù)據(jù)自動(dòng)化分層管理奠定了良好的基礎(chǔ)。用戶很多時(shí)候無法區(qū)分?jǐn)?shù)據(jù)的冷、熱程度，或者無法準(zhǔn)確的預(yù)測數(shù)據(jù)什么時(shí)候開始變冷，而更好的做法是將這些工作交給后臺(tái)程序自動(dòng)完成，這樣可以讓用戶享受到最低的存儲(chǔ)成本。

圖：UFile 分層存儲(chǔ)方案數(shù)據(jù)流轉(zhuǎn)示意

2、自建大數(shù)據(jù)存儲(chǔ)與 UFile 歸檔存儲(chǔ)的成本對(duì)比

我們回到開頭的大數(shù)據(jù)用戶的場景，該企業(yè)現(xiàn)有 5PB 的數(shù)據(jù)量，因?yàn)橛脩舻臄?shù)據(jù)訪問頻率較低，所以推薦采用 UFile 的歸檔存儲(chǔ)方案，下表是使用自建大數(shù)據(jù)存儲(chǔ)和 UFile 歸檔存儲(chǔ)方案成本差異對(duì)比。

事實(shí)上，我們還沒有考慮數(shù)據(jù)逐漸增長的過程，對(duì)象存儲(chǔ)是按需付費(fèi)的，實(shí)際使用多少資源才會(huì)支付多少費(fèi)用，而自建大數(shù)據(jù)存儲(chǔ)往往會(huì)存在資源和成本的空閑浪費(fèi)。因此，針對(duì)海量數(shù)據(jù)的冷存儲(chǔ)，UFile 歸檔存儲(chǔ)方案能夠提供更高的性價(jià)比。

三 、產(chǎn)品體驗(yàn)優(yōu)化

1、數(shù)據(jù)安全 + 高質(zhì)量網(wǎng)絡(luò)保證

移動(dòng)設(shè)備和 IoT 設(shè)備都有隨時(shí)隨地上傳的需求，而隨時(shí)隨地的上傳則對(duì)數(shù)據(jù)安全和網(wǎng)絡(luò)質(zhì)量都提出了更高的要求。

針對(duì)該需求，首先 UFile 支持 Https 協(xié)議，支持用戶使用公私鑰或者 Token 的方式來隨時(shí)隨地的傳輸數(shù)據(jù)、確保數(shù)據(jù)的安全性。

其次，UFile 已在全球 10 多個(gè)國家和地區(qū)分布有節(jié)點(diǎn)，覆蓋國內(nèi)主要城市和國外主要國家，按照規(guī)劃 UFile 后續(xù)還將覆蓋到更多地區(qū)和國家。國內(nèi)外的數(shù)據(jù)節(jié)點(diǎn)均采用 BGP 機(jī)房或者運(yùn)營商節(jié)點(diǎn)機(jī)房，能夠提供高質(zhì)量的網(wǎng)絡(luò)保障，確保用戶數(shù)據(jù)上傳過程中的穩(wěn)定和低延時(shí)。

圖：UFile 全球數(shù)據(jù)中心分布

2、用戶接入體驗(yàn)優(yōu)化

目前 UFile 的 SDK 覆蓋了主流的開發(fā)語言，并分別支持 iOS 和 Android 移動(dòng)端。同時(shí) UFile 還兼容了常用的 S3 協(xié)議，支持第三方用戶態(tài)網(wǎng)絡(luò)文件系統(tǒng)訪問 UFile，如 S3fs、Goofys，這樣用戶可以像使用本地文件系統(tǒng)一樣使用對(duì)象存儲(chǔ)。相比本地文件系統(tǒng)，以 UFile 為存儲(chǔ)池的用戶態(tài)網(wǎng)絡(luò)文件系統(tǒng)可以為用戶帶來更大的存儲(chǔ)空間和更低的存儲(chǔ)成本。

圖：通過 Goofys 把某個(gè) Bucket 掛載成文件系統(tǒng)并操作