Grab 是東南亞最大的互聯(lián)網(wǎng) O2O 平臺(tái)，業(yè)務(wù)由剛開始的打車業(yè)務(wù)，擴(kuò)展到涵蓋了打車、支付、送餐、地圖、物流、生鮮等諸多領(lǐng)域。

如此快速變化的業(yè)務(wù)發(fā)展給數(shù)據(jù)工程團(tuán)隊(duì)帶來了很多挑戰(zhàn)，上游的數(shù)據(jù)快速增長(zhǎng)和變化，數(shù)據(jù)團(tuán)隊(duì)需要快速支持?jǐn)?shù)據(jù)流的變化。同時(shí)，數(shù)據(jù)量的快速增長(zhǎng)和數(shù)據(jù)模型逐漸復(fù)雜化，我們支持下游數(shù)據(jù)分析團(tuán)隊(duì)可以快速的分析處理。這些驅(qū)動(dòng)著我們?cè)O(shè)計(jì)端到端自助的大數(shù)據(jù)處理平臺(tái)，把各類數(shù)據(jù)需求模塊化，自動(dòng)化，給數(shù)據(jù)用戶自助服務(wù)的平臺(tái)。給上下游提供平臺(tái)每個(gè)環(huán)節(jié)的可見度，聯(lián)通數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者。

提綱：

1、Grab 的數(shù)據(jù)架構(gòu)的演化

數(shù)據(jù)平臺(tái)的迭代
存儲(chǔ)與計(jì)算引擎的挑戰(zhàn)

2、數(shù)據(jù)平臺(tái)自助化的原動(dòng)力

大數(shù)據(jù)遇到微服務(wù)
多元化自助 BI 的需求

3、數(shù)據(jù)平臺(tái)自助化的實(shí)踐

自助數(shù)據(jù)導(dǎo)入平臺(tái)
自助數(shù)據(jù)分析平臺(tái)
自助數(shù)據(jù)導(dǎo)出平臺(tái)

4、數(shù)據(jù)治理的思考和實(shí)踐

數(shù)據(jù)質(zhì)量監(jiān)管平臺(tái)
元數(shù)據(jù)管理

成峰，Grab Data Engineering Lead，主導(dǎo) Grab 大數(shù)據(jù)平臺(tái)開發(fā)和維護(hù)。8 年 Data Geek，經(jīng)歷了 Oracle RAC，MPP，Hadoop 到如今 Spark/Presto 儲(chǔ)存與計(jì)算分離的架構(gòu)演變。

現(xiàn)在就職 Grab 新加坡，專注于的 Data Lake，數(shù)據(jù)平臺(tái)，數(shù)據(jù)治理的研發(fā)工作。參與并主導(dǎo)了數(shù)據(jù)平臺(tái)的端到端自助平臺(tái)化的研發(fā)。

 

 

 

標(biāo)簽： 大數(shù)據(jù)自助平臺(tái) 數(shù)據(jù)平臺(tái)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。