數(shù)據(jù)湖

數(shù)據(jù)湖是指使用大型二進制對象或文件這樣的自然格式儲存數(shù)據(jù)的系統(tǒng)。它通常把企業(yè)所有的數(shù)據(jù)統(tǒng)一存儲，既包括源系統(tǒng)中的原始副本，也包括轉(zhuǎn)換后的數(shù)據(jù)，比如那些用于報表, 可視化, 數(shù)據(jù)分析和機器學習的數(shù)據(jù)。數(shù)據(jù)湖可以包括關系數(shù)據(jù)庫的結(jié)構化數(shù)據(jù)(行與列)、半結(jié)構化的數(shù)據(jù)(CSV/日志/XML/JSON)，非結(jié)構化數(shù)據(jù) (電子郵件/文件/PDF)和二進制數(shù)據(jù)(圖像/音頻/視頻)。數(shù)據(jù)湖的本質(zhì)包含四個標準：1. 統(tǒng)一的存儲系統(tǒng);2. 存儲原始數(shù)據(jù);3. 豐富的計算模型/范式;4. 數(shù)據(jù)湖與上云無關。這四個標準來判斷，開源大數(shù)據(jù)的Hadoop HDFS存儲系統(tǒng)就是一個標準的數(shù)據(jù)湖架構，具備統(tǒng)一的原始數(shù)據(jù)存儲架構。

數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別

1、數(shù)據(jù)結(jié)構：數(shù)據(jù)倉庫只能存儲經(jīng)過處理和提煉的數(shù)據(jù)，而數(shù)據(jù)湖存儲尚未出于某種目的處理的原始數(shù)據(jù)。因此，數(shù)據(jù)湖需要比數(shù)據(jù)倉庫大得多的存儲容量，且數(shù)據(jù)靈活、分析迅速，非常適合機器學習。2、加工：數(shù)據(jù)倉庫使用寫入時序模式的方法來處理數(shù)據(jù)以賦予其形狀和結(jié)構，而數(shù)據(jù)湖對原始數(shù)據(jù)使用讀取模式來處理它。3、成本：存儲在數(shù)據(jù)倉庫中的成本可能很高，尤其是在有大量數(shù)據(jù)的情況下，而數(shù)據(jù)湖是專為低成本數(shù)據(jù)存儲而設計，成本...

白馬嘯西風發(fā)布了一篇文章 · 2022-09-07 16:23

數(shù)據(jù)湖