摘要：利益相關(guān)網(wǎng)易云打造的大數(shù)據(jù)平臺，能夠提供更好的建設(shè)方案，歡迎免費試用。網(wǎng)易有數(shù)則定位于敏捷數(shù)據(jù)可視化分析平臺，可便捷地嵌入企業(yè)經(jīng)營的業(yè)務(wù)模塊，且面對不同客戶的需求提供定制化服務(wù)，數(shù)據(jù)分析效率最高提升。

歡迎訪問網(wǎng)易云社區(qū)，了解更多網(wǎng)易技術(shù)產(chǎn)品運營經(jīng)驗。

數(shù)據(jù)倉庫作為企業(yè)提供決策支持而構(gòu)建的集成化數(shù)據(jù)環(huán)境，本身并不產(chǎn)生或者消費數(shù)據(jù)，基本架構(gòu)包含的是數(shù)據(jù)流入流出的過程，首先放上一張數(shù)據(jù)倉庫的架構(gòu)圖。數(shù)據(jù)倉庫作為中間集成化數(shù)據(jù)管理的一個平臺，底層有多種數(shù)據(jù)來源，流入數(shù)據(jù)倉庫之后對上層應(yīng)用開放。

1、分析業(yè)務(wù)需求，確定數(shù)據(jù)倉庫主題

數(shù)據(jù)模型的創(chuàng)建依賴數(shù)據(jù)倉庫主題的確定，在搭建數(shù)據(jù)倉庫之前，首先就是要充分了解業(yè)務(wù)部門的問題需求，明確我們所要創(chuàng)建的數(shù)據(jù)倉庫真正可以解決的問題，在多次溝通的前提下，可以準確的確定系統(tǒng)能夠?qū)崿F(xiàn)的功能。在這個過程中，基于雙方理解問題的不同，還需要我們對需求做出一些原型的演示，避免理解上的分歧。

需要做到包括：從業(yè)務(wù)方需求中提取出重要的業(yè)務(wù)數(shù)據(jù)主題，并對業(yè)務(wù)數(shù)據(jù)主題進行詳細的解釋；對提取出的業(yè)務(wù)數(shù)據(jù)主題進行主題域的劃分，并對主題域進行詳細的解釋；根據(jù)主題域的劃分，對內(nèi)部的組織結(jié)構(gòu)和業(yè)務(wù)關(guān)系細節(jié)化，構(gòu)建出主題域的概念模型。

2、構(gòu)建邏輯模型

在概念模型的基礎(chǔ)上，對其進行進一步的細化和分解，通過實體和實體之間的關(guān)系描述業(yè)務(wù)的需求和系統(tǒng)實現(xiàn)的技術(shù)領(lǐng)域。邏輯模型的構(gòu)建在數(shù)據(jù)倉庫的實施中最為重要，是業(yè)務(wù)需求人員和技術(shù)人員進行溝通的橋梁和平臺，能夠直接反映業(yè)務(wù)部門實際的需求和對業(yè)務(wù)的規(guī)劃，同時對下面物理模型的構(gòu)建也具有指導(dǎo)意義。邏輯模型通過實體與實體之間的關(guān)系勾勒出了整個業(yè)務(wù)部門的數(shù)據(jù)藍圖和規(guī)劃。

邏輯模型主要關(guān)注細節(jié)性的業(yè)務(wù)規(guī)則，同時也需要解決每個主題域包含的概念范疇和跨主題域的集成和共享問題，構(gòu)建的步驟一般包括：分析需求，列出需要分析的主題，明確需求目標、維度指標、分析的指標、分析的方法、數(shù)據(jù)的來源以及需要關(guān)注的對象等；選擇用戶感興趣的數(shù)據(jù)，通過業(yè)務(wù)需求將需要分析的指標分離抽取出來，轉(zhuǎn)換為實體；在實體中增加時間戳屬性；考慮粒度層次的劃分，粒度決定了數(shù)據(jù)倉庫的實現(xiàn)方式、性能、靈活性以及數(shù)據(jù)倉庫的數(shù)據(jù)量；在粒度層次劃分的基礎(chǔ)上，進行關(guān)系模式的定義，關(guān)系模式一般采取第三范式的特點進行定義；同時在邏輯模型的基礎(chǔ)上對實體的屬性、屬性的值域等信息進行明確、完善和細化，保證真實的反映業(yè)務(wù)的邏輯關(guān)系和業(yè)務(wù)的規(guī)則。

3、邏輯模型轉(zhuǎn)換為物理模型

基于邏輯模型，接下來就是為應(yīng)用環(huán)境選擇一個合適的物理結(jié)構(gòu)，包括合適的存儲結(jié)構(gòu)以及合適的存儲方法。將邏輯模型轉(zhuǎn)換為物理模型主要包括：實體名轉(zhuǎn)換為表名；屬性名轉(zhuǎn)換為列名，并且確定列的屬性；在物理模型的創(chuàng)建過程中，必須要對列的屬性進行明確，包括列名、數(shù)據(jù)類型、是否是空值以及長度等。確定物理模型之后，對于數(shù)據(jù)的存放位置和存儲空間的分配等也需要進行規(guī)劃。

4、數(shù)據(jù)源接入

在數(shù)據(jù)倉庫的建立之前，需采集底層多種數(shù)據(jù)源數(shù)據(jù)，明確數(shù)據(jù)源中的數(shù)據(jù)種類，采用合適的工具。比如，F(xiàn)lume NG作為實時日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時，對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接收方；NDC，Netease Data Canal，直譯為網(wǎng)易數(shù)據(jù)運河系統(tǒng)，可以實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)庫的數(shù)據(jù)實時遷移；Sqoop可以將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到平臺中；Logstash作為開源的服務(wù)端數(shù)據(jù)處理管道，也可以輕松的將日志、WEB應(yīng)用等數(shù)據(jù)采集到平臺中。

5、數(shù)據(jù)存儲清洗和轉(zhuǎn)換

對數(shù)據(jù)進行清洗和轉(zhuǎn)換，保證進入到數(shù)據(jù)倉庫中的數(shù)據(jù)的一致性。結(jié)合業(yè)務(wù)需求，采用合適的數(shù)據(jù)清洗轉(zhuǎn)換工具。

6、對接BI，數(shù)據(jù)展示

為業(yè)務(wù)部門選擇合適的工具實現(xiàn)對數(shù)據(jù)倉庫中的數(shù)據(jù)進行分析的目的，正確清晰的展現(xiàn)用戶的功能需求。

數(shù)據(jù)倉庫搭建成功之后，還需對其安全性、備份恢復(fù)等方面進行管理。

利益相關(guān)：網(wǎng)易云打造的大數(shù)據(jù)平臺，能夠提供更好的建設(shè)方案，歡迎免費試用。

網(wǎng)易猛犸是一個大數(shù)據(jù)應(yīng)用開發(fā)與數(shù)據(jù)管理平臺，覆蓋了數(shù)據(jù)傳輸、計算及作業(yè)流調(diào)度等多個環(huán)節(jié)，日處理數(shù)據(jù)量達到 PB 級。

網(wǎng)易有數(shù)則定位于敏捷數(shù)據(jù)可視化分析平臺，可便捷地嵌入企業(yè)經(jīng)營的業(yè)務(wù)模塊，且面對不同客戶的需求提供定制化服務(wù)，數(shù)據(jù)分析效率最高提升80%。

文章來源： 網(wǎng)易云社區(qū)