大數(shù)據(jù)正在徹底改變 IT 世界。而數(shù)據(jù)多格式、數(shù)據(jù)處理速度和大容量是大數(shù)據(jù)時代必須解決的問題。大數(shù)據(jù)之所以處理起來很困難，是因為大數(shù)據(jù)有別于傳統(tǒng)關(guān)系型數(shù)據(jù)。大數(shù)據(jù)有三大特點，也就是業(yè)界常說的“3V”，即大流量(Volume)、生成的速度快(Velocity)、種類多(Variety)。另外，大數(shù)據(jù)雖然量大，但與關(guān)系型數(shù)據(jù)相比，其同等數(shù)據(jù)量的經(jīng)濟價值要小得多，如果還像傳統(tǒng)數(shù)據(jù)那樣投入同樣的資源來處理也是不值得的，這些都決定了不適合用關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)倉庫來處理大數(shù)據(jù)。

大數(shù)據(jù)時代三大特點，集中式存儲與計算已經(jīng)無法應(yīng)對挑戰(zhàn) 

    中國產(chǎn)業(yè)信息網(wǎng)http://www.chyxx.com發(fā)布的《2013-2018年中國云計算市場分析預(yù)測與投資戰(zhàn)略咨詢報告》認為傳統(tǒng) IOE 架構(gòu)已無力應(yīng)對大數(shù)據(jù)的挑戰(zhàn)，云計算變革時代已經(jīng)到來。IOE 架構(gòu)是建立在IBM 小型機+Oracle 數(shù)據(jù)庫+EMC存儲設(shè)備上的數(shù)據(jù)處理架構(gòu)，是一種集中專用的架構(gòu)，存在多種瓶頸，無法適應(yīng)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理。1）傳統(tǒng)架構(gòu)強調(diào)單一系統(tǒng)的規(guī)模，通過強化單一系統(tǒng)提升數(shù)據(jù)處理能力。而在大數(shù)據(jù)時代，數(shù)據(jù)量的增長十分迅猛，不是任何單一系統(tǒng)能夠滿足的，系統(tǒng)的橫向擴展成為必然之選，而 IOE 架構(gòu)的橫向擴展能力有限；2）在傳統(tǒng)架構(gòu)下，數(shù)據(jù)存儲和處理依賴于關(guān)系型數(shù)據(jù)庫，而無法有效處理大數(shù)據(jù)環(huán)境下的非結(jié)構(gòu)化數(shù)據(jù)；3）傳統(tǒng)架構(gòu)的軟件和硬件設(shè)備被 IOE 三家公司所壟斷，價格十分昂貴。在大數(shù)據(jù)環(huán)境下的系統(tǒng)規(guī)模極其龐大，需要付出極高的成本采購 IOE 軟件和硬件設(shè)備；4）第三，硬件平臺兼容性差，比如惠普硬件無法與 IBM 系統(tǒng)形成無縫的跨平臺。
傳統(tǒng) IOE 架構(gòu)面臨多方面瓶頸

    云計算平臺主要有以下幾個優(yōu)點：1）可靠性，分布式云計算平臺能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配；2）經(jīng)濟性，云計算平臺的硬件可以由普通服務(wù)器構(gòu)成，無需購買昂貴的小型機；3）高可擴展性，云計算是在可用的服務(wù)器集群中分配數(shù)據(jù)并完成計算任務(wù)的，數(shù)據(jù)處理能力正比于服務(wù)器數(shù)量的增加。

    基于云計算平臺的優(yōu)點

    互聯(lián)網(wǎng)行業(yè)是率先邁入大數(shù)據(jù)環(huán)境的領(lǐng)域�；ヂ�(lián)網(wǎng)行業(yè)的大量數(shù)據(jù)滿足“3V”特點，因此采用傳統(tǒng) IOE 架構(gòu)的互聯(lián)網(wǎng)企業(yè)感到明顯的壓力，遇到包括數(shù)據(jù)實時分析能力差、海量數(shù)據(jù)處理效率低、IT 運維效率低下等各方面的 IT 系統(tǒng)問題。包括 Google、Amazon、阿里巴巴等互聯(lián)網(wǎng)巨頭已經(jīng)開始踏上去“IOE”征途。目前在國引領(lǐng)互聯(lián)網(wǎng)浪潮的阿里巴巴集團內(nèi)部，傳統(tǒng)的 IOE 架構(gòu)已經(jīng)顛覆。阿里巴巴通過改寫 mysql等開源項目開發(fā)出新型的大規(guī)模分布式存儲系統(tǒng)，通過虛擬化技術(shù)將普通 CPU 和普通硬盤組成了計算資源池和存儲資源池，構(gòu)建了符合自身業(yè)務(wù)需求并且性能穩(wěn)定的 IT 基礎(chǔ)架構(gòu)。

標(biāo)簽： Google Mysql 處理大數(shù)據(jù) 大數(shù)據(jù) 大數(shù)據(jù)時代 服務(wù)器 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)巨頭 互聯(lián)網(wǎng)企業(yè) 互聯(lián)網(wǎng)行業(yè) 企業(yè) 數(shù)據(jù)庫 問題 行業(yè) 云計算 云計算平臺 云計

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。