Apache Hadoop出現(xiàn)在IT領(lǐng)域是在2006年，它可以支持使用廉價(jià)的商用硬件來存儲(chǔ)海量數(shù)據(jù)。從某種意義上來說，Hadoop幫助我們迎來了大數(shù)據(jù)時(shí)代。希望越高，期待也越大。企業(yè)可以在稱之為數(shù)據(jù)湖的基于Hadoop的存儲(chǔ)中存儲(chǔ)盡可能多的數(shù)據(jù)，并進(jìn)行后續(xù)的分析。這些數(shù)據(jù)湖伴隨著一系列的獨(dú)立的開源計(jì)算引擎，并且基于此開源即意味著免費(fèi)。那么會(huì)可能出現(xiàn)什么錯(cuò)誤?

Monte Zweben，Splice Machine的CEO，對(duì)Hadoop將要發(fā)生的事情有一個(gè)有趣的看法，特別是對(duì)其垮臺(tái)背后的三個(gè)主要原因：

模式讀是一個(gè)錯(cuò)誤

首先，所謂Hadoop的最佳功能竟是它的致命缺點(diǎn)。隨著寫模式限制的解除，TB級(jí)的數(shù)據(jù)結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)寫入到數(shù)據(jù)湖中。由于Hadoop的數(shù)據(jù)治理框架和功能仍在設(shè)計(jì)，企業(yè)越來越難以確定其數(shù)據(jù)的血緣關(guān)系，導(dǎo)致它們對(duì)自己的數(shù)據(jù)失去信任，數(shù)據(jù)湖變成了數(shù)據(jù)沼澤。

Hadoop的復(fù)雜性和管道式的計(jì)算引擎

其次，Hadoop發(fā)行版中提供了一些列的開源計(jì)算引擎，例如Apache Hive，Apache Spark，Apache Kafka。這些計(jì)算引擎操作起來很復(fù)雜，需要專門的技術(shù)才能把這些技術(shù)串聯(lián)起來，但比較困難。

錯(cuò)誤的焦點(diǎn) - 數(shù)據(jù)湖與應(yīng)用程序

第三點(diǎn)也是最重要一點(diǎn)，數(shù)據(jù)湖項(xiàng)目開始失敗,因?yàn)镠adoop集群往往成為企業(yè)數(shù)據(jù)流管道(過濾，處理，傳輸)的gateway，然后數(shù)據(jù)會(huì)轉(zhuǎn)出到數(shù)據(jù)庫和數(shù)據(jù)集市用于下游匯報(bào)，并且?guī)缀鯊奈丛谄髽I(yè)中找到真正的業(yè)務(wù)應(yīng)用程序。結(jié)果，數(shù)據(jù)湖最終成為一組龐大的不同計(jì)算引擎，在不同的工作負(fù)載上運(yùn)行，所有這些引擎共享相同的存儲(chǔ)。這些很難進(jìn)行管理。生態(tài)系統(tǒng)中的資源隔離和管理工具正在不斷完善，但仍有很長的路要走。企業(yè)無法將注意力從使用數(shù)據(jù)湖作為廉價(jià)的數(shù)據(jù)存儲(chǔ)庫轉(zhuǎn)移到使用數(shù)據(jù)和支持關(guān)鍵任務(wù)應(yīng)用程序的平臺(tái)。

許多組織都關(guān)注Hadoop生態(tài)系統(tǒng)的最新發(fā)展，并承受著展示數(shù)據(jù)湖價(jià)值的壓力。對(duì)于企業(yè)來說，至關(guān)重要的是確定如何在Hadoop失敗后成功地實(shí)現(xiàn)應(yīng)用程序的現(xiàn)代化，以及實(shí)現(xiàn)這一目標(biāo)的最佳策略。Hadoop曾經(jīng)是最被炒作的技術(shù)，如今屬于人工智能。當(dāng)心炒作周期，有一天你可能不得不為它的影響負(fù)責(zé)。

作者:余根茂，阿里巴巴計(jì)算平臺(tái)事業(yè)部EMR團(tuán)隊(duì)的技術(shù)專家，參與了Hadoop，Spark，Kafka等開源項(xiàng)目的研發(fā)工作。目前主要專注于EMR流式計(jì)算產(chǎn)品的研發(fā)工作

原文鏈接：

https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/

標(biāo)簽： Hadoop

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。