雅虎和谷歌這兩大搜索引擎的巨頭一直都在為各種頭銜你搶我奪，爭吵不休。例如，若干年前關(guān)于誰擁有全球最大的網(wǎng)頁索引問題，最后谷歌以超過雅虎三倍的索引量最終勝出。之后的爭論主題曾經(jīng)轉(zhuǎn)移到了搜索相關(guān)性問題上。

　　現(xiàn)在，雅虎又期待能在另一個(gè)領(lǐng)域蓋過谷歌的風(fēng)頭，獲得業(yè)界的認(rèn)可：雅虎宣稱擁有生長環(huán)境下全球容量最大的SQL數(shù)據(jù)庫，同時(shí)也是全球最繁忙的數(shù)據(jù)庫，每個(gè)月能夠?yàn)檠呕⒎治龊脦變|網(wǎng)頁瀏覽者的行為。為此雅虎的數(shù)據(jù)業(yè)務(wù)副總裁Waqar Hasan表示，雅虎是全球首個(gè)(據(jù)他們所知)將一個(gè)PB級(jí)數(shù)據(jù)庫投入生產(chǎn)環(huán)境的企業(yè)，這個(gè)數(shù)據(jù)庫最初的構(gòu)建所要達(dá)到的容量可以上升到幾十個(gè)PB，到2009年更是要翻倍地增長。

　　作為數(shù)據(jù)容量度量單位，PB的出現(xiàn)對(duì)于一臺(tái)普通的計(jì)算機(jī)來說簡直是遙不可及，要知道1PB相當(dāng)于100萬GB，而現(xiàn)在性能較好的普通個(gè)人臺(tái)式機(jī)的容量不超過200GB。Hasan表示，雅虎所擁有的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過傳統(tǒng)產(chǎn)業(yè)企業(yè)的數(shù)據(jù)量，甚至在互聯(lián)網(wǎng)世界里都比其他的同等級(jí)競爭對(duì)手要多得多。而個(gè)中原因，Hasan所給出的解釋是用戶花費(fèi)在雅虎網(wǎng)站上的時(shí)間是花費(fèi)在谷歌上的兩倍，微軟的三倍。這也是微軟為什么那么熱衷于收購雅虎的原因之一。

　　人們對(duì)于單純追求計(jì)算速度提升的熱情在逐漸減退，從成本極高的超級(jí)計(jì)算機(jī)轉(zhuǎn)移到了大規(guī)模網(wǎng)格構(gòu)成的廉價(jià)PC服務(wù)器。同時(shí)商業(yè)智能和技術(shù)化的商業(yè)分析浪潮的興起促使人們把視線投入到能夠一次分析百萬計(jì)消費(fèi)者行為從而為企業(yè)提高收益的超大型數(shù)據(jù)倉庫上面。

　　雅虎收集的數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)(相對(duì)于電子郵件那樣的非結(jié)構(gòu)化數(shù)據(jù)而言)，是與用戶如何使用其網(wǎng)站相關(guān)的數(shù)據(jù)，包括廣告和用戶體驗(yàn)等。雅虎利用這些數(shù)據(jù)盡可能為用戶提供他們所希望達(dá)到的最佳體驗(yàn)，從個(gè)性化服務(wù)的設(shè)計(jì)到通過精準(zhǔn)的廣告定位實(shí)現(xiàn)廣告客戶的商業(yè)利益最大化。這使雅虎能夠在跨越一個(gè)較低的技術(shù)門檻而實(shí)現(xiàn)所謂的“深度分析”功能。

　　雅虎的數(shù)據(jù)庫技術(shù)最初出自于2005年底被雅虎低調(diào)收購的Mahat技術(shù)公司。雅虎的數(shù)據(jù)庫構(gòu)建基于商用的Intel處理器，在大型服務(wù)器集群中連接起來。傳統(tǒng)的方法是使用大型對(duì)成多處理器系統(tǒng)，而雅虎則將大量小型的處理器系統(tǒng)，然后聯(lián)合成大型服務(wù)器集群。雅虎的這個(gè)數(shù)據(jù)庫還使用了深度改良的PostgreSQL引擎，用為其商用硬件集群專門設(shè)計(jì)的代碼來取代查詢處理層。這樣無論是在硬件還是在軟件上，這個(gè)數(shù)據(jù)庫都得到了革新。例如，SQL數(shù)據(jù)庫是以表為單位來組織管理的，這些表由行和列構(gòu)成，傳統(tǒng)的數(shù)據(jù)排列方式是按照行進(jìn)行的，而雅虎則選擇用分布式列來存儲(chǔ)數(shù)據(jù)。這樣做的好處是你可以只是獲取你感興趣的數(shù)據(jù)，減少了特定查詢過程中所要處理的數(shù)據(jù)量，，這樣能夠極大地提高查詢效率，特別是在進(jìn)行深度分析查詢時(shí)。同時(shí)雅虎還利用先進(jìn)的數(shù)據(jù)壓縮技術(shù)和平行向量查詢處理技術(shù)，后者在執(zhí)行平行處理方面是非常有效的方法。

　　谷歌的BigTable數(shù)據(jù)庫也采用了商用硬件集群，但Hasan認(rèn)為雅虎的商用硬件集群與之不同之處在于雅虎的集群是專門為SQL界面設(shè)計(jì)的，可以讓你在編程上毫不費(fèi)力。對(duì)于谷歌的BigTable數(shù)據(jù)庫，你需要編寫的C++或Java程序，而雅虎的數(shù)據(jù)庫則是用SQL指令來達(dá)成相同的任務(wù)，從編程的角度來講，大大提高了生長效率。

　　雅虎開發(fā)自己的數(shù)據(jù)庫的誘因是商業(yè)數(shù)據(jù)庫供應(yīng)商不能滿足其需求。Hasan表示，現(xiàn)在的商業(yè)數(shù)據(jù)庫能夠很好的處理25TB級(jí)別的數(shù)據(jù)，勉強(qiáng)一點(diǎn)還可以管理達(dá)到100TB級(jí)別的數(shù)據(jù)，而雅虎需要管理的數(shù)據(jù)量比100TB還要多上100倍，這是商業(yè)數(shù)據(jù)庫所無法企及的。另一方面從性能來講，因?yàn)檠呕⑹菍ｉT為自己的需求量身打造的數(shù)據(jù)庫，就算是處理100TB的數(shù)據(jù)，雅虎數(shù)據(jù)庫引擎的執(zhí)行效率也是商業(yè)數(shù)據(jù)庫的10倍以上。

標(biāo)簽： 大型服務(wù)器 代碼 電子郵件 服務(wù)器 谷歌 互聯(lián)網(wǎng) 企業(yè) 數(shù)據(jù)庫 搜索 搜索引擎 網(wǎng)站 問題 選擇 用戶

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。