hbase 一次大規(guī)模數(shù)據(jù)寫入清除測(cè)試

2024-06-28 16:04:06

字體：大中小

供稿：網(wǎng)友

　測(cè)試過程

10:58 開始打入數(shù)據(jù),磁盤使用率44% 11:38 由于內(nèi)存８Ｇ不夠，在打入數(shù)據(jù)的時(shí)候，導(dǎo)致ｆａｌｃｏｎ監(jiān)控異常退出，對(duì)于本次測(cè)試效果不好，開始制作鏡像，并運(yùn)行新的instance 13:07 開始測(cè)試，43.394% 18:11 設(shè)置TTL，未做大合并 18 12 hbase disk storage usage 從 2539 到1571 共有968MB數(shù)據(jù) 18 15 machine disk storage usage 從 12483 到 10924 共有 1559MB數(shù)據(jù)

　全部監(jiān)控曲線

這里寫圖片描述

總結(jié)

跑ＣＤＨ最好是１６ＧＢ內(nèi)存，cpu至少兩核心吧。hbase在存儲(chǔ)數(shù)據(jù)的時(shí)候，先是寫入到WAL，然后flush到磁盤里面，這個(gè)可以設(shè)置，我當(dāng)前設(shè)置的64MBhbase數(shù)據(jù)由WALs目錄開始，64MBflush到磁盤，然后本身在某種機(jī)制下移動(dòng)到oldWALs（保留時(shí)間很短，分分鐘就被系統(tǒng)清理掉了）。hbase的archive，目前沒有多少研究，基本上數(shù)據(jù)也會(huì)分分鐘消滅掉hbase設(shè)置ttl，即使沒有在手動(dòng)major_compact的情況下，依舊會(huì)清理掉數(shù)據(jù)。下圖是我設(shè)置ttl的過程。

這里寫圖片描述