Hypertable(C++)吞吐率測(cè)試完勝HBase(Java)
2019-02-26 來(lái)源：多智時(shí)代
近日，Hypertable和HBase進(jìn)行了類似隨機(jī)讀取統(tǒng)一的測(cè)試， 結(jié)果表明Hypertable在吞吐量測(cè)試中以2倍的性能優(yōu)勢(shì)壓倒HBase。HBase在410億和1670億的數(shù)據(jù)插入測(cè)試中不堪重負(fù)（垃圾數(shù)據(jù)收集）。在此次測(cè)試中Hypertable選用了0.9.5.5版，而HBase版本為0.90.4（CDH3u2運(yùn)行于Zookeeper）。
Hypertable高可用改進(jìn)架構(gòu)示意圖
| Hypertable系統(tǒng)主要包括Hyperspace、Master和Range Server三大組件。Hyperspace是一個(gè)鎖服務(wù)，地位相當(dāng)于Google的Chubby，主要用于同步、檢測(cè)節(jié)點(diǎn)是否發(fā)生故障和存放頂層位置信息；Master主要用于完成任務(wù)分配，未來(lái)會(huì)有負(fù)載均衡以及災(zāi)后重建（Range Server失效后自動(dòng)恢復(fù)服務(wù)）等其他作用；Range Server是Hypertable的實(shí)際工作者，主要負(fù)責(zé)對(duì)一個(gè)Range中的數(shù)據(jù)提供服務(wù)，此外它還肩負(fù)起災(zāi)后重建的責(zé)任，即重放本地日志恢復(fù)自身故障前狀態(tài)；另外，還有訪問Hypertable的客戶端Client等組件。 |
Hypertable和HBase都是開源的可擴(kuò)展的數(shù)據(jù)庫(kù)產(chǎn)品，它們的設(shè)計(jì)藍(lán)本同時(shí)基于Google BigTable。兩者的主要區(qū)別是Hypertable依靠C++語(yǔ)言實(shí)現(xiàn)，而HBase則基于Java編寫。 本次測(cè)試的環(huán)境為16臺(tái)服務(wù)器，這16臺(tái)服務(wù)器通過千兆網(wǎng)絡(luò)連接在一起。
操作系統(tǒng)：CentOS 6.1
CPU：2X AMD C32 Six Core Model 4170 HE 2.1Ghz
內(nèi)存：24GB 1333MHz DDR3
硬盤：4X 2TB SATA Western Digital RE4-GP WD2002FYPS
Hypertable和HBase在HDFS的NameNode運(yùn)行在1號(hào)測(cè)試機(jī)之上。而DataNodes則運(yùn)行在4號(hào)測(cè)試機(jī)到15測(cè)試機(jī)之上。與此同時(shí)RangeServer和RegionServers運(yùn)行在同一組計(jì)算機(jī)之中，并且配置使之可用所有的內(nèi)存資源。三個(gè)Zookeeper和Hyperspace副本運(yùn)行在1號(hào)測(cè)試機(jī)在3號(hào)測(cè)試機(jī)。在測(cè)試中，表被配置使用Snappy壓縮，同時(shí)使用Bloom filters加載Row Key。
在隨機(jī)寫入測(cè)試中，Hypertable和HBase分別測(cè)試寫入4個(gè)不同的5TB數(shù)據(jù)。 使用的值大小分別為10000、1000、100和10。同時(shí)固定為20字節(jié)并將范圍內(nèi)的隨機(jī)整數(shù)（隨機(jī)值的數(shù)據(jù)段取自英文Wiki百科XML頁(yè)面的200MB樣本）格式化為零填充（0..number_of_keys_submitted*10）。
從圖中我們可以看出HBase在410億以及1670億的鍵測(cè)試中由于HBase的RegionServers并發(fā)模式失敗而拋出異常。無(wú)論如何配置當(dāng)RegionServer產(chǎn)生無(wú)用數(shù)據(jù)的速度超過Java垃圾收集器就會(huì)發(fā)生如上的故障。為了解決這一問題，建造新的垃圾回收計(jì)劃以克服問題，但這也會(huì)為運(yùn)行時(shí)的性能帶來(lái)沉重的代價(jià)。
在2005年的OOPSLA會(huì)議上Matthew Hertz和Emery D. Berger公布了《Garbage Collection vs. Explicit Memory Management》的研究文檔，這為相關(guān)研究提供堅(jiān)實(shí)的信念。
在不久的將來(lái)，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來(lái)前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來(lái)！
標(biāo)簽： CentOS Google 大數(shù)據(jù) 服務(wù)器 數(shù)據(jù)庫(kù) 網(wǎng)絡(luò) 云計(jì)算
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
