亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Hbase基本介紹和讀寫流程

IT那活兒 / 3302人閱讀
Hbase基本介紹和讀寫流程
一. Hbase介紹

Hbase是建立的hdfs之上，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫(kù)系統(tǒng)。與hadoop一樣，Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過不斷增加廉價(jià)的商用服務(wù)器，來增加計(jì)算和存儲(chǔ)能力。
HBase 中的表一般有這樣的特點(diǎn)：

  • ?大：一個(gè)表可以有上十億行，上百萬列；

  • 面向列：面向列(族)的存儲(chǔ)和權(quán)限控制，列(族)獨(dú)立檢索；

  • 稀疏: 對(duì)于為空(null)的列，并不占用存儲(chǔ)空間，因此，表可以設(shè)計(jì)的非常稀疏。


二. Hbase的角色

HBase角色：Hmaster、Regionserver

  • Hmaster作用

Hbase每時(shí)每刻只有一個(gè)HMaster主服務(wù)器程序在運(yùn)行，HMaster將region分配給RegionServer，協(xié)調(diào)RegionServer的負(fù)載并維護(hù)集群的狀態(tài)，Hmaster不會(huì)對(duì)外提供數(shù)據(jù)服務(wù)，而是由RegionServer負(fù)責(zé)所有regions的讀寫請(qǐng)求及操作。

  • Regionserver作用

負(fù)責(zé)存儲(chǔ)Hbase的實(shí)際數(shù)據(jù)維護(hù)HMaster分配給它的Hregion處理對(duì)這些HRegion的IO請(qǐng)求，也就是說客戶端直接和HRegionServer打交道。


三. Hbase的表結(jié)構(gòu)

  1. HBase Table的組成：
    Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時(shí)間戳）+Value（值）
  2. Hbase的表按key來進(jìn)行regions的分區(qū)
  3. 某個(gè)表的多個(gè)regions會(huì)分布在不同的regionserver上，以增加查詢速度
  4. 為增加寫入的性能，hbase表一般會(huì)進(jìn)行預(yù)分區(qū)。
HBase Table的組成：
Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時(shí)間戳）+Value（值）
Tips：Hbase表設(shè)計(jì)不建議使用太多列簇，一般業(yè)務(wù)建議3個(gè)以內(nèi)為佳。


四. Hbase的讀寫流程

HBase讀流程：

  1. Client客戶端先訪問zookeeper,獲取 meta 表位于哪個(gè)Region Server。
  2. 訪問meta 表對(duì)應(yīng)的region server服務(wù)器，根據(jù)請(qǐng)求的信息（namespace,table,rowkey)，查詢出目標(biāo)表位于哪個(gè)Region Server中的哪個(gè)region。并將該表的region信息，以及meta表的位置信息緩存在客戶端的緩存中，以便下次訪問。
  3. 與目標(biāo)表所在的region server 進(jìn)行通訊。
  4. 分別在Block Cache（讀緩存），MemStore和 Store File查詢目標(biāo)數(shù)據(jù)，并將查到的數(shù)據(jù)進(jìn)行合并，此處所有數(shù)據(jù)是指同一條數(shù)據(jù)的不同版本（time stamp）或者不同的類型。（Put/Delete）
  5. 將從文件中查詢到的數(shù)據(jù)塊緩存到block cache。
  6. 將合并后的數(shù)據(jù)返回給客戶端。


HBase寫流程：


  1. 客戶端先訪問zookeeper，獲取Meta表位于那個(gè)region server。

  2. 訪問Meta表對(duì)應(yīng)的region server服務(wù)器，根據(jù)請(qǐng)求的信息（namespace:table/rowkey）,在meta表中查詢出目標(biāo)數(shù)據(jù)位于哪個(gè)region server的哪個(gè)region中。并將該表的region信息以及meta表的位置信息緩存到客戶端的meta cache，方便下次訪問。

  3. 與目標(biāo)數(shù)據(jù)的region server進(jìn)行通訊。

  4. 將數(shù)據(jù)寫入到WAL中。

  5. 將數(shù)據(jù)寫入到對(duì)應(yīng)的memstore中。

  6. 向客戶端發(fā)送寫入成功的信息。

  7. 等達(dá)到memstore的刷寫時(shí)機(jī)后，將數(shù)據(jù)刷寫到HFILE中。


END


更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/129847.html

相關(guān)文章

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對(duì)文本進(jìn)行文法分析，生成語(yǔ)法樹。對(duì)語(yǔ)法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語(yǔ)義分析，對(duì)語(yǔ)法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對(duì)語(yǔ)法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡(jiǎn)介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫(kù)，它完全開源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評(píng)論0 收藏0

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對(duì)文本進(jìn)行文法分析，生成語(yǔ)法樹。對(duì)語(yǔ)法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語(yǔ)義分析，對(duì)語(yǔ)法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對(duì)語(yǔ)法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡(jiǎn)介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫(kù)，它完全開源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<