在上周舉行的數(shù)據(jù)架構(gòu)2018年峰會(huì)上，William McKnight就使用不同的數(shù)據(jù)平臺(tái)創(chuàng)建現(xiàn)代數(shù)據(jù)架構(gòu)做了主旨演講。

他以討論組織的數(shù)據(jù)成熟度和業(yè)務(wù)成功之間的高度相關(guān)性開(kāi)始了他的演講。組織的數(shù)據(jù)架構(gòu)越成熟，業(yè)務(wù)就越成功。成熟度較低的組織往往會(huì)把數(shù)據(jù)分散于不同的信息孤島中。他分享了一些來(lái)自2018年“互聯(lián)網(wǎng)分鐘（Internet Minute）”中所發(fā)生的事情的統(tǒng)計(jì)數(shù)據(jù)，在互聯(lián)網(wǎng)上每分鐘發(fā)送1億8700萬(wàn)封電子郵件和1800萬(wàn)條短信，進(jìn)行370萬(wàn)次搜索查詢(xún)等等。

人工智能（AI）是一股顛覆性的力量，而數(shù)據(jù)則是這場(chǎng)革命的基石。行業(yè)中出現(xiàn)了新的數(shù)據(jù)集：生物數(shù)據(jù)（Bio Data）。如果將生物數(shù)據(jù)和環(huán)境數(shù)據(jù)（如位置等）結(jié)合在一起，那么你將擁有進(jìn)行數(shù)據(jù)分析的所有信息。

他談到了數(shù)據(jù)培養(yǎng)和像數(shù)據(jù)倉(cāng)庫(kù)（data warehouse）和數(shù)據(jù)湖（Data Lake）這樣的解決方案如何幫助完成數(shù)據(jù)工作。數(shù)據(jù)架構(gòu)師也需要在HDFS和云存儲(chǔ)之間做出選擇。HDFS具有更好的查詢(xún)性能，而云存儲(chǔ)的擴(kuò)展性、持久性和可用性更好，并且成本更低。

通過(guò)比較關(guān)系數(shù)據(jù)庫(kù)和nosql數(shù)據(jù)庫(kù)的數(shù)據(jù)大小和工作負(fù)載復(fù)雜性，McKnight討論了即可使用的大數(shù)據(jù)平臺(tái)的選擇。

另外，他也談到了NewSQL數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)可擴(kuò)展、兼容ACID并支持分片。這些數(shù)據(jù)庫(kù)正被用于資本市場(chǎng)數(shù)據(jù)輸入、金融交易、電信記錄流和欺詐檢測(cè)。

數(shù)據(jù)庫(kù)的云部署提供了一些好處，包括按需和自助服務(wù)數(shù)據(jù)管理、廣泛的網(wǎng)絡(luò)訪問(wèn)、資源匯集、快速?gòu)椥院涂蓽y(cè)量的服務(wù)。

傳統(tǒng)的ETL技術(shù)不足以用于企業(yè)范圍內(nèi)運(yùn)行的數(shù)據(jù)平臺(tái)。有各種各樣的數(shù)據(jù)源，并且數(shù)據(jù)是實(shí)時(shí)流式傳輸?shù)�。�?shù)據(jù)架構(gòu)應(yīng)該考慮這些需求的流處理。

企業(yè)數(shù)據(jù)虛擬化提供了對(duì)所有結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)持續(xù)及時(shí)的訪問(wèn)，這些數(shù)據(jù)來(lái)自組織內(nèi)不同的數(shù)據(jù)源，如數(shù)據(jù)倉(cāng)庫(kù)、市場(chǎng)、多維數(shù)據(jù)集、操作數(shù)據(jù)存儲(chǔ)（operational data stores，簡(jiǎn)稱(chēng)ODS）、事務(wù)源和文件系統(tǒng)。

他建議，數(shù)據(jù)專(zhuān)業(yè)人員在這次數(shù)據(jù)架構(gòu)轉(zhuǎn)型旅程中進(jìn)行他們的挑戰(zhàn)，應(yīng)該做好進(jìn)行長(zhǎng)期戰(zhàn)役的準(zhǔn)備，可能會(huì)失敗幾次才能最終獲得成功。將您的數(shù)據(jù)體系結(jié)構(gòu)工作與應(yīng)用程序預(yù)算和路線圖項(xiàng)目結(jié)合起來(lái)，以便在數(shù)據(jù)架構(gòu)實(shí)施方面取得進(jìn)展。

McKnight對(duì)其演講進(jìn)行了總結(jié)，建議數(shù)據(jù)專(zhuān)業(yè)人員在需要高性能的數(shù)據(jù)管理解決方案的地方考慮使用內(nèi)存數(shù)據(jù)庫(kù)，并考慮未來(lái)使用GPU數(shù)據(jù)庫(kù)和混合數(shù)據(jù)庫(kù)。

閱讀英文原文：William McKnight on Data Platforms and Creating a Modern Data Architecture

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺(tái) 電子郵件 互聯(lián)網(wǎng) 金融 數(shù)據(jù)分析 數(shù)據(jù)庫(kù) 搜索 網(wǎng)絡(luò) 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。