近日，百度與戴爾聯(lián)合推出百度易手機(jī)，這款手機(jī)上每個(gè)用戶可擁有100G免費(fèi)存儲(chǔ)空間。這也引發(fā)了業(yè)界對(duì)百度大數(shù)據(jù)存儲(chǔ)能力的關(guān)注。百度為何能提供100G免費(fèi)存儲(chǔ)空間，未來(lái)又將在大數(shù)據(jù)存儲(chǔ)方面做哪些工作。

　　百度技術(shù)委員會(huì)理事長(zhǎng)陳尚義對(duì)騰訊科技解密，稱百度成立之初就開發(fā)了自己的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。團(tuán)隊(duì)云集包括谷歌、IBM、微軟等數(shù)據(jù)存儲(chǔ)和處理方面專家。他還透露，百度未來(lái)將開發(fā)跨數(shù)據(jù)中心存儲(chǔ)系統(tǒng)。

　　陳尚義介紹，百度每天面對(duì)海量數(shù)據(jù)。每天收集幾千億網(wǎng)頁(yè)，系統(tǒng)每天都產(chǎn)生海量日志，容量達(dá)到百PB級(jí)，需要數(shù)萬(wàn)臺(tái)服務(wù)器存儲(chǔ)，這還不算用戶在使用百度產(chǎn)品中自己生成的內(nèi)容(UGC)和百度客戶數(shù)據(jù)，這部分?jǐn)?shù)據(jù)加起來(lái)就有幾個(gè)PB，僅這些數(shù)據(jù)就比傳統(tǒng)企業(yè)的大上很成千上萬(wàn)倍。并且隨著網(wǎng)頁(yè)資源增加和搜索質(zhì)量提升，網(wǎng)頁(yè)和超鏈數(shù)據(jù)將隨之急劇增加。

　　百度數(shù)據(jù)呈現(xiàn)海量、高增長(zhǎng)，結(jié)構(gòu)化和非結(jié)構(gòu)化大量并存，記錄大小差距巨大，數(shù)據(jù)一致性強(qiáng)弱不一，數(shù)據(jù)冷熱不均，突發(fā)事件常導(dǎo)致數(shù)據(jù)訪問(wèn)波峰等特點(diǎn)。與此同時(shí)，百度業(yè)務(wù)對(duì)數(shù)據(jù)存儲(chǔ)和處理提出極高要求。要求數(shù)據(jù)高可用、高可靠、高通量、高時(shí)效、高并發(fā)、高可擴(kuò)展，要求百度的數(shù)據(jù)存儲(chǔ)能力和處理能力必須以非常簡(jiǎn)單的方式獲得擴(kuò)容，以降低維護(hù)升級(jí)的代價(jià)。面對(duì)這些特點(diǎn)和要求，百度必須開發(fā)自己的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。

　　陳尚義說(shuō)，百度最早上線數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，開源系統(tǒng)還沒有發(fā)布，還由于開源系統(tǒng)的性能受限、無(wú)法充分利用機(jī)器的各種資源尤其是新硬件資源、無(wú)法為特定的訪問(wèn)模式做優(yōu)化、缺乏滿足工業(yè)界的穩(wěn)定性等諸多原因，百度不能使用開源系統(tǒng)。不僅開源的用不上，而且市場(chǎng)上無(wú)現(xiàn)成商業(yè)化產(chǎn)品可供百度使用，因?yàn)槿魏我粋�(gè)廠商都沒有如此海量、如此復(fù)雜的數(shù)據(jù)。

　　百度一開始就自主開發(fā)了大數(shù)據(jù)存儲(chǔ)系統(tǒng)，用于存儲(chǔ)網(wǎng)頁(yè)和超鏈、客戶信息和用戶產(chǎn)品、系統(tǒng)日志等海量數(shù)據(jù)，支持Table、Pipe、File和KV等數(shù)據(jù)類型，滿足百度業(yè)務(wù)的流式和觸發(fā)式計(jì)算、文件存儲(chǔ)和訪問(wèn)、低延遲、高并發(fā)的需求。

　　陳尚義說(shuō)，在這些基礎(chǔ)上，百度還面向廣大網(wǎng)民推出云存儲(chǔ)系統(tǒng)，在前不久發(fā)布的百度易手機(jī)上，每個(gè)用戶可擁有100G的免費(fèi)存儲(chǔ)空間。除了給每個(gè)用戶100G的免費(fèi)空間外，百度易手機(jī)上應(yīng)用和數(shù)據(jù)，都是這套系統(tǒng)在背后支撐。

▲百度大數(shù)據(jù)存儲(chǔ)體系

　　陳尚義還透露，為應(yīng)對(duì)上百PB的數(shù)據(jù)，滿足諸多近乎苛刻的要求，百度采取了一些措施。包括開發(fā)網(wǎng)頁(yè)更新模型，將對(duì)磁盤的隨機(jī)寫轉(zhuǎn)化為批量的順序?qū)�，提高�?shù)據(jù)的寫入速度，縮短了網(wǎng)頁(yè)數(shù)據(jù)的更新周期，提高搜索引擎等產(chǎn)品時(shí)效果性。

　　此外，還包括對(duì)涉及數(shù)據(jù)存儲(chǔ)和訪問(wèn)的各個(gè)方面進(jìn)行全局優(yōu)化。對(duì)訪問(wèn)模式采用數(shù)據(jù)索引、緩存熱點(diǎn)數(shù)據(jù)、外存預(yù)讀、IO緩存等技術(shù)手段，降低在線訪問(wèn)的延遲，提高系統(tǒng)的吞吐量;未來(lái)，百度還將開發(fā)跨數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)。

標(biāo)簽： 大數(shù)據(jù) 服務(wù)器 服務(wù)器存儲(chǔ) 谷歌 企業(yè) 搜索 搜索引擎 寫入速度 用戶

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。