主要內(nèi)容：

HBASE介紹

HBASE數(shù)據(jù)熱點(diǎn)

HBASE常見(jiàn)故障處理

HBASE壓縮

1.1關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)

1.2關(guān)系型數(shù)據(jù)庫(kù)和hbase的區(qū)別

1、數(shù)據(jù)類型：關(guān)系數(shù)據(jù)庫(kù)采用關(guān)系模型，具有豐富的數(shù)據(jù)類型和存儲(chǔ)方式，HBase則采用了更加簡(jiǎn)單的數(shù)據(jù)模型，它把數(shù)據(jù)存儲(chǔ)為未經(jīng)解釋的字符串。

2、數(shù)據(jù)操作：關(guān)系數(shù)據(jù)庫(kù)中包含了豐富的操作，其中會(huì)涉及復(fù)雜的多表連接。HBase操作則不存在復(fù)雜的表與表之間的關(guān)系，只有簡(jiǎn)單的插入、查詢、刪除、清空等，因?yàn)镠Base在設(shè)計(jì)上就避免了復(fù)雜的表和表之間的關(guān)系。

3、存儲(chǔ)模式：關(guān)系數(shù)據(jù)庫(kù)是基于行模式存儲(chǔ)的。HBase是基于列存儲(chǔ)的。

4、數(shù)據(jù)索引：關(guān)系數(shù)據(jù)庫(kù)通常可以針對(duì)不同列構(gòu)建復(fù)雜的多個(gè)索引，以提高數(shù)據(jù)訪問(wèn)性能。HBase只有一個(gè)索引——Rowkey。

5、數(shù)據(jù)維護(hù)：在關(guān)系數(shù)據(jù)庫(kù)中，更新操作會(huì)用最新的當(dāng)前值去替換記錄中原來(lái)的舊值，舊值被覆蓋后就不會(huì)存在。而在HBase中執(zhí)行更新操作時(shí)，并不會(huì)刪除數(shù)據(jù)舊的版本，而是生成一個(gè)新的版本，舊有的版本仍然保留。

6、可伸縮性：關(guān)系數(shù)據(jù)庫(kù)很難實(shí)現(xiàn)橫向擴(kuò)展，縱向擴(kuò)展的空間也比較有限。相反，HBase和BigTable這些分布式數(shù)據(jù)庫(kù)就是為了實(shí)現(xiàn)靈活的水平擴(kuò)展而開(kāi)發(fā)的，能夠輕易地通過(guò)在集群中增加或者減少硬件數(shù)量來(lái)實(shí)現(xiàn)性能的伸縮

1.3 HABSE架構(gòu)變化

HBASE 1.0以前



HBASE1.0以后




[
2.HBASE數(shù)據(jù)熱點(diǎn)
]




2.1 HABSE Rowkey

HBase 表的數(shù)據(jù)是按照Rowkey來(lái)分散到不同Region，不合理的Rowkey設(shè)計(jì)會(huì)導(dǎo)致熱點(diǎn)問(wèn)題。熱點(diǎn)問(wèn)題是大量的Client直接訪問(wèn)集群的一個(gè)或極少數(shù)個(gè)節(jié)點(diǎn)，而集群中的其他節(jié)點(diǎn)卻處于相對(duì)空閑狀態(tài)。




Hbase是根據(jù)Rowkey來(lái)進(jìn)行檢索的，檢索支持3種方式：

1、通過(guò)單Rowkey訪問(wèn)，即按照某個(gè)Rowkey鍵值進(jìn)行g(shù)et操作，獲取唯一記錄。




2、通過(guò)Rowkey的range進(jìn)行scan,即通過(guò)是指startRowkey和endRowkey，在這個(gè)范圍進(jìn)行掃描。這樣可以指定條件獲取一批記錄。




3、全表掃描，即直接掃描整張表中所有的記錄。（該方法效率特別低）




2.2 Hbase如何避免數(shù)據(jù)熱點(diǎn)

1、salting(加鹽)

在Rowkey前面加入隨機(jī)數(shù)，具體就是給Rowkey前面分配一個(gè)隨機(jī)前綴，以使得它和之前的排序不同。但是會(huì)對(duì)寫(xiě)造成了一定的負(fù)面影響，會(huì)增加寫(xiě)時(shí)的吞吐量。




2、加入Hashing

Hashing的原理就是計(jì)算Rowkey的hash值，然后取hash的部分字符和原來(lái)的Rowkey進(jìn)行拼接。這里的hash包含比如MD5這種類似的算法。




3、Reversing(反轉(zhuǎn))    

Reversing的原理是反轉(zhuǎn)一段固定長(zhǎng)度或者全部的鍵。




4、Rowkey的長(zhǎng)度。

Rowkey可以是任意字符，越短越好，但是不要超過(guò)16個(gè)字節(jié)，存為byte[]字節(jié)數(shù)組，一般設(shè)計(jì)成定長(zhǎng)。




[
3.HBASE常見(jiàn)故障及處理
]




3.1RegionServer異常下線

regionserver進(jìn)程時(shí)常出現(xiàn)異常下線的情況




檢查分析：

（1）檢查日志



（2）該主機(jī)收到的告警短信



該主機(jī)出現(xiàn)某個(gè)磁盤(pán)寫(xiě)數(shù)據(jù)繁忙的情況，出現(xiàn)這類情況就要從datanode入手（因?yàn)樵摯疟P(pán)sdg為datanode數(shù)據(jù)盤(pán)）。




（3）檢查對(duì)比nmon日志





圖一為問(wèn)題主機(jī)DISKBUYS報(bào)表圖，由圖一wavg偏高，說(shuō)明磁盤(pán)的繁忙程度相比于同一集群的其他主機(jī)更高。




（4）根據(jù)nmon圖分析為主機(jī)磁盤(pán)問(wèn)題



通知主機(jī)方檢查主機(jī)，最終檢查出其中一個(gè)hadoop數(shù)據(jù)盤(pán)有問(wèn)題，更換完后問(wèn)題解決，如上圖可以看出之前壞的主機(jī)nmon的DISKBUYS無(wú)異常。




3.2 Hbase請(qǐng)求異常

1、查看Hbaseui

通過(guò)hbaseui界面查看hbase請(qǐng)求量大部分時(shí)間處于10000以下，甚至還在幾百（此集群平時(shí)正常時(shí)候請(qǐng)求量大部分在7w-12w左右）




2、日志信息

Numberof regions in transition: 0...ERROR: RegionServer:xxx主機(jī),2302,1546020590497Unable to fetch region information.org.apache.hadoop.net.ConnectTimeoutException: 20000 millis timeoutwhile waiting for channel to be ready for connect. ch :java.nio.channels.SocketChannel[connection-pendingremote=主機(jī)名/ip:2302]

(體現(xiàn)為regionserver無(wú)法提供handler為master提供信息。導(dǎo)致同步meta表出錯(cuò)。)




3、通過(guò)netstat-anp|grep 2302 命令查看鏈接狀況出現(xiàn)SYN_RECV（半連接）






4、問(wèn)題處理過(guò)程

登錄堡壘機(jī)，執(zhí)行 hbase hbck，查看有無(wú) ConnectTimeoutException 報(bào)錯(cuò)，如發(fā)現(xiàn)相關(guān)報(bào)錯(cuò),保留頁(yè)面信息，訪問(wèn)問(wèn)題主機(jī)ip:2301頁(yè)面，右鍵另存為當(dāng)前網(wǎng)頁(yè)，點(diǎn)擊界面Debugdump和MetricsDump鏈接分別保存信息，登錄故障主機(jī)，保留信息，通過(guò)netstat-anp|grep2302查看連接狀態(tài)，通過(guò)jps查看regionserver進(jìn)程，jstack -l rsPID >/tmp/jstack.${time}，如果發(fā)現(xiàn)報(bào)錯(cuò)，登錄rstimeout主機(jī)通過(guò)hbase-daemon.shstopregionserver停止regionserver,觀察請(qǐng)求量是否恢復(fù),待集群恢復(fù)正常后，討論是否重新拉起故障regionserver。




[
4.Hbase壓縮
]




1、情景再現(xiàn)  

采用壓縮優(yōu)化解決方案，用最少的投資承載更多的數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)降本增效的目標(biāo)，適用于類似此種一次寫(xiě)入、少量查詢的溫冷數(shù)據(jù)場(chǎng)景。入庫(kù)時(shí)采用SNAPPY壓縮，不影響數(shù)據(jù)入庫(kù)效率，在業(yè)務(wù)閑時(shí)，修改數(shù)據(jù)壓縮方式為GZ，降低存儲(chǔ)資源消耗。




2、具體實(shí)現(xiàn)步驟

（1）disablesnappy_test

（2）altersnappy_test ,NAME=>cf,COMPRESSION => GZ

（3）enablesnappy_test

（4）major_compactsnappy_test




3、測(cè)試結(jié)果

表名	壓縮前大?。╯nappy）	壓縮后大小（GZ)	壓縮比	壓縮時(shí)間
snappy_test	380.9G	207.5G	大約35%	大約1小時(shí)15分鐘major完全執(zhí)行完