摘要：摘要入選和報告的作為阿里巴巴的整套數(shù)據(jù)分析平臺的核心產(chǎn)品之一，承載了將數(shù)據(jù)探索實時化，在線化的關(guān)鍵任務。級數(shù)據(jù)分析，毫秒級響應數(shù)據(jù)庫構(gòu)建的最初理念就是以低成本提供極致性能的數(shù)據(jù)分析探索能力。

摘要： 入選Gartner和Forrester報告的AnalyticDB作為阿里巴巴的整套數(shù)據(jù)分析平臺的核心產(chǎn)品之一，承載了將數(shù)據(jù)探索實時化，在線化的關(guān)鍵任務。

前言
2018年3月13日，F(xiàn)orrester發(fā)布了最新的云化數(shù)據(jù)倉庫分析報告（ Now Tech: Cloud Data Warehouse, Q1 2018），阿里巴巴同亞馬遜，谷歌，微軟四個世界級云廠商共同進入領(lǐng)先者陣營。同時今年二月份Gartner發(fā)布的分析型數(shù)據(jù)管理平臺報告中（ Magic Quadrant for Data Management Solutions for Analytics），阿里巴巴第一次參評即進入魔力四象限。這體現(xiàn)了阿里巴巴多年來在打造 DT商業(yè)過程中的大量數(shù)據(jù)分析技術(shù)積累。阿里巴巴的整套數(shù)據(jù)分析平臺基于阿里飛天分布式系統(tǒng)打造，其核心的產(chǎn)品包括大數(shù)據(jù)計算服務MaxCompute 和分析型數(shù)據(jù)庫AnalyticDB，以及數(shù)加DataWorks 等。其中AnalyticDB作為分布式分析型數(shù)據(jù)庫，更是承載了將數(shù)據(jù)探索實時化，在線化的關(guān)鍵任務。

AnalyticDB早期出身于阿里巴巴集團內(nèi)部為數(shù)據(jù)分析業(yè)務打造的在線分析系統(tǒng)，無論是淘寶天貓的廣告營銷平臺，還是螞蟻金服的風控、征信等業(yè)務，AnalyticDB產(chǎn)品的使命就是將數(shù)據(jù)價值探索做到實時在線化，提供大并發(fā)下的毫秒級分析查詢響應。當面對具備上千個標簽屬性的消費人群和千億級別的交易記錄，數(shù)據(jù)分析師在做市場趨勢分析，業(yè)務研判和廣告投放時，需要在PB級數(shù)據(jù)上依據(jù)不斷變化的業(yè)務模型做分析探索，對業(yè)務發(fā)展方向進行決策。如何以極低的成本和毫秒級的響應時延支持數(shù)據(jù)探索，釋放海量數(shù)據(jù)的商業(yè)價值，就是這些年來AnalyticDB產(chǎn)品不斷演進的方向。

AnalyticDB數(shù)據(jù)庫構(gòu)建的最初理念就是以低成本提供極致性能的數(shù)據(jù)分析探索能力。傳統(tǒng)企業(yè)BI分析，數(shù)據(jù)往往先經(jīng)過離線的ETL批處理過程，之后再基于固定的業(yè)務模型，以多維報表形式做分析結(jié)果展現(xiàn)。這種模式下，數(shù)據(jù)分析的實時性，業(yè)務發(fā)展的敏捷性受到制約，數(shù)據(jù)價值的釋放和數(shù)據(jù)分析師的工作受到約束。AnalyticDB基于傳統(tǒng)MPP數(shù)據(jù)庫架構(gòu)，支持高擴展采用流水線的計算模式，同時創(chuàng)新的引入多項黑科技，支撐海量數(shù)據(jù)的高性能在線實時分析。

新硬件加速 利用阿里云IaaS層的垂直整合優(yōu)勢，全面引入SSD卡存儲，較傳統(tǒng)磁盤存儲
I/O帶寬提升10倍以上。AnalyticDB今年即將上線的GPU加速特性，將數(shù)據(jù)分析里的計算密集型操作卸載到GPU，利用GPU高并行計算能力，提升復雜數(shù)據(jù)計算的性能。已經(jīng)在廣告等數(shù)據(jù)探索類業(yè)務上驗證，性能平均提升5倍以上。

曦和分析計算引擎 AnalyticDB
在17年全面升級為新一代曦和分布式計算引擎，整體采用MPP架構(gòu)，支持DAG計算模型，節(jié)點內(nèi)引入LLVM等運行時代碼編譯優(yōu)化技術(shù)，性能提升一倍以上。數(shù)據(jù)分析任務在曦和計算引擎內(nèi)被打散成小顆粒的計算單元，引擎內(nèi)置分時輪詢的計算調(diào)度機制，可以保證高并發(fā)下作業(yè)任務的穩(wěn)定運行。

智能存儲索引
AnalyticDB支持創(chuàng)新的行列混存，同時針對不同的數(shù)據(jù)類型在數(shù)據(jù)加載寫入時，智能的構(gòu)建多種維度索引，包括B+索引、區(qū)間索引、倒排索引、位圖索引等，并對傳統(tǒng)索引算法進行創(chuàng)新，引入動態(tài)過濾、延遲物化等方式，極大的降低I/O，實現(xiàn)高性能的點或范圍的檢索，支持萬億級記錄關(guān)聯(lián)分析。

讀寫分離架構(gòu)
在各類生產(chǎn)運營系統(tǒng)里，隨著移動端應用以及物聯(lián)網(wǎng)的興起，高性能的寫入成為分析類系統(tǒng)的強需求。AnalyticDB整體采用讀寫分離架構(gòu)，除支持大批量數(shù)據(jù)加載外，也支持每秒千萬條記錄的寫入，寫入成功即持久化保存在盤古分布式文件系統(tǒng)里，根據(jù)用戶配置支持不同的數(shù)據(jù)一致性級別。

AnalyticDB 構(gòu)建在阿里云飛天分布式系統(tǒng)之上，接入層、計算層、存儲層解耦，各層可獨立伸縮。同時所有的服務節(jié)點均采用無狀態(tài)化（Serverless）設(shè)計，所有節(jié)點均為多活（Active-Active）模式或主備（Primary-Standby）模式，相較于傳統(tǒng)數(shù)據(jù)庫的緊耦合架構(gòu)，其擴容、升級等運維操作往往需要停機幾個小時或者天，AnalyticDB支持在線擴容（Online scale out）和滾動升級(Rolling upgrade)，過程對客戶業(yè)務無感知，從而更好的支持阿里云上客戶業(yè)務的不斷發(fā)展，按需購買服務，當業(yè)務迅速擴展時，靈活敏捷的進行AnalyticDB擴縮容操作。AnalyticDB 的各組件均為無狀態(tài)化設(shè)計（Serverless），當發(fā)生任何軟、硬件故障時，飛天的伏羲調(diào)度系統(tǒng)會自動檢測和遷移故障節(jié)點，整個過程對應用透明無感知。

AnalyticDB的數(shù)據(jù)存儲在阿里巴巴自研的盤古分布式文件系統(tǒng)上，支持多副本或糾錯碼（Erasure Code）模式存儲數(shù)據(jù)，相較于傳統(tǒng)數(shù)據(jù)庫基于本地磁盤的存儲，具備更高的數(shù)據(jù)可靠性。17年盤古分布式文件系統(tǒng)全面升級，上線25GE網(wǎng)絡和新的SSD存儲介質(zhì)，面向數(shù)據(jù)分析類場景，提供了更高的數(shù)據(jù)吞吐能力。

AnalyticDB 已經(jīng)在阿里云國內(nèi)主要數(shù)據(jù)中心開通，包括華北2（北京）、華東1（上海）和華東2（杭州）區(qū)等，服務支撐的客戶即包括眾多互聯(lián)網(wǎng)創(chuàng)業(yè)公司，如小黃車ofo等，也在支撐很多大型企業(yè)的數(shù)字化建設(shè)，例如中國郵政等等。在今年3月28日的深圳云棲大會上，AnalyticDB產(chǎn)品發(fā)布了兩個重要消息：

各類型實例將在四月份平均降價50%，普惠廣大阿里云的數(shù)據(jù)分析用戶，通過在線化數(shù)據(jù)分析，最大釋放數(shù)據(jù)價值；

四月份將在阿里云華南區(qū)（深圳）開通AnalyticDB服務，便于華南客戶可以更便捷的應用該服務。

閱讀原文