在美團點評酒旅事業(yè)群內(nèi)，業(yè)務(wù)由傳統(tǒng)的團購形式轉(zhuǎn)向預(yù)訂、直連等更加豐富的產(chǎn)品形式，業(yè)務(wù)系統(tǒng)也在迅速的迭代變化，這些都對數(shù)據(jù)倉庫的擴展性、穩(wěn)定性、易用性提出了更高要求。對此，我們采取了分層次、分主題的方式，本文將分享這一過程中的一些經(jīng)驗。

技術(shù)架構(gòu)

隨著美團點評整體的系統(tǒng)架構(gòu)調(diào)整，我們在分層次建設(shè)數(shù)據(jù)倉庫的過程中，不斷優(yōu)化并調(diào)整我們的層次結(jié)構(gòu)，下圖展示了技術(shù)架構(gòu)的變遷。

我們把它們簡稱為三代數(shù)倉模型層次。在第一代數(shù)倉模型層次中，由于當(dāng)時美團整體的業(yè)務(wù)系統(tǒng)所支持的產(chǎn)品形式比較單一（團購），業(yè)務(wù)系統(tǒng)中包含了所有業(yè)務(wù)品類的數(shù)據(jù)，所以由平臺的角色來加工數(shù)據(jù)倉庫基礎(chǔ)層是非常合適的，平臺統(tǒng)一建設(shè)，支持各個業(yè)務(wù)線使用，所以在本階段中我們酒旅只是建立了一個相對比較簡單的數(shù)據(jù)集市。

但隨著美團原本集中的業(yè)務(wù)系統(tǒng)不能快速響應(yīng)各個業(yè)務(wù)線迅速的發(fā)展與業(yè)務(wù)變化時，酒旅中的酒店業(yè)務(wù)線開始有了自己的業(yè)務(wù)系統(tǒng)來支持預(yù)訂、房惠、團購、直連等產(chǎn)品形式，境內(nèi)度假業(yè)務(wù)線也開始有了自己的業(yè)務(wù)系統(tǒng)來支持門票預(yù)訂、門票直連、跟團游等復(fù)雜業(yè)務(wù)。我們開始了第二代數(shù)倉模型層次的建設(shè)，由建設(shè)數(shù)據(jù)集市的形式轉(zhuǎn)變成了直接建設(shè)酒旅數(shù)據(jù)倉庫，成為了酒旅自身業(yè)務(wù)系統(tǒng)數(shù)據(jù)的唯一加工者。由于系統(tǒng)調(diào)整初期給我們帶來的重構(gòu)、修改以及新增等數(shù)據(jù)處理工作非常大，我們采用了比較短平快的Kimball所提的維度建模的方式建設(shè)了酒旅數(shù)據(jù)倉庫。

在第二代數(shù)倉模型層次運轉(zhuǎn)一段時間后，我們的業(yè)務(wù)又迎來了一個巨大的變化，上海團隊和我們?nèi)诤狭�，同時我們酒旅自身的業(yè)務(wù)系統(tǒng)重構(gòu)的頻率相對較高，對我們的數(shù)倉模型穩(wěn)定性造成了非常大的影響，原本的維度模型非常難適配這么迅速的變化。下圖就是我們數(shù)倉模型當(dāng)時所面臨的挑戰(zhàn)：

于是我們在ODS與多維明細層中間加入了數(shù)據(jù)整合層，參照Bill Inmon所提出的企業(yè)信息工廠建設(shè)的模式，基本按照三范式的原則來進行數(shù)據(jù)整合，由業(yè)務(wù)驅(qū)動調(diào)整成了由技術(shù)驅(qū)動的方式來建設(shè)數(shù)據(jù)倉庫基礎(chǔ)層。下圖是該層次的一些描述：

使用本基礎(chǔ)層的最根本出發(fā)點還是在于我們的供應(yīng)鏈、業(yè)務(wù)、數(shù)據(jù)它們本身的多樣性，如果業(yè)務(wù)、數(shù)據(jù)相對比較單一、簡單，本層次的架構(gòu)方案很可能將不再適用。

業(yè)務(wù)架構(gòu)

下面介紹我們的主題建設(shè)，實際上在傳統(tǒng)的一些如銀行、制造業(yè)、電信、零售等行業(yè)里，都有一些比較成熟的模型，如耳熟能詳?shù)腂DWM、FS-LDM、MLDM等等模型，它們都是經(jīng)過一些具有相類似行業(yè)的企業(yè)在二三十年數(shù)據(jù)倉庫建設(shè)中所積累的行業(yè)經(jīng)驗，不斷的優(yōu)化并通用化。但我們所處的O2O行業(yè)本身就沒有可借鑒的成熟的數(shù)據(jù)倉庫主題以及模型，所以，我們在摸索建設(shè)兩年的時間里，我們目前總結(jié)了下面比較適合我們現(xiàn)狀的七大主題（后續(xù)可能還會新增）：

參與人主題

用戶子主題：使用我們服務(wù)的所有人都是我們的用戶，這是我們數(shù)據(jù)中至關(guān)重要的實體，也是我們數(shù)倉中非常重要的一個主題，對用戶數(shù)據(jù)的系統(tǒng)化建設(shè)能夠很好的幫助我們企業(yè)快速的發(fā)展，不斷提高用戶的體驗、擴大我們的用戶群。

BD子主題：通過BD的業(yè)務(wù)擴展，建立我們與商戶之間的關(guān)系，讓用戶通過我們的服務(wù)訪問到商戶所發(fā)布的信息，對BD數(shù)據(jù)的建設(shè)，能夠讓我們的商戶覆蓋更加迅速、讓我們和商戶之間的關(guān)系更加緊密。

供應(yīng)商子主題：供應(yīng)商無論作為直簽還是作為三方簽約對象，對我們的業(yè)務(wù)發(fā)展都非常重要，通過對其數(shù)據(jù)的建設(shè)，可以讓我們彼此雙贏，通過我們的平臺讓雙方的業(yè)務(wù)迅速發(fā)展。

流量主題

用戶通過App或PC或I版、微信等等形式訪問我們的服務(wù)，形成了對我們企業(yè)至關(guān)重要的流量，本主題也是比較具有互聯(lián)網(wǎng)特色的主題，對于流量的數(shù)據(jù)建設(shè)能夠讓我們不斷優(yōu)化我們的產(chǎn)品、服務(wù)，給我們帶來更多的流量、更快的擴張。

訂單主題

當(dāng)用戶給我們帶來流量的同時，他們也會產(chǎn)生交易，訂單主題的獨立建設(shè)以及其重要性我這里就不再贅述了，在所有的互聯(lián)網(wǎng)以及傳統(tǒng)公司里，該主題都是至關(guān)重要的。

POI主題

這個主題也具有我們自身的O2O特色，實際上這個主題與阿里的商家主題比較類似但又具備自己的特點，對于POI自身的重要性就不再過多介紹，通過對POI的數(shù)據(jù)集中建設(shè)能夠讓我們給POI帶去更好的服務(wù)與回報。

產(chǎn)品主題

與POI強相關(guān)的就是產(chǎn)品了，如何讓產(chǎn)品能夠更加的貼近用戶的需求以及產(chǎn)生更多的交易、流量，產(chǎn)品數(shù)據(jù)主題的建設(shè)及目的的意義就在于此。

運營主題

我們的業(yè)務(wù)發(fā)展將不再依靠粗暴的補貼式的擴張發(fā)展模式，需要依賴現(xiàn)在的精細化運營方式，運營數(shù)據(jù)主題的建設(shè)就有了非常強的必要性，通過數(shù)據(jù)進行精細化運營已經(jīng)成為我們運營的主要發(fā)展趨勢。

結(jié)算主題

實際上，這個主題在傳統(tǒng)企業(yè)里面如銀行、電信等等都是至關(guān)重要的，對我們酒旅而言，建設(shè)它的意義能夠不斷優(yōu)化商家體驗、提高財務(wù)結(jié)算與管理能力。

整體架構(gòu)

我們的七個主題基本上都采用6層結(jié)構(gòu)的方式來建設(shè)，劃分主題更多是從業(yè)務(wù)的角度出發(fā)，而層次劃分則是基于技術(shù)，實質(zhì)上我們就是基于業(yè)務(wù)與技術(shù)的結(jié)合完成了整體的數(shù)據(jù)倉庫架構(gòu)。下面介紹一下具體的一些主題案例：

訂單主題

在訂單主題的建設(shè)過程中，我們是按照由分到總的結(jié)構(gòu)思路來進行建設(shè)，首先分供應(yīng)鏈建設(shè)訂單相關(guān)實體（數(shù)據(jù)整合中間層3NF），然后再進行適度抽象把分供應(yīng)鏈的相關(guān)訂單實體進行合并后生成訂單實體（數(shù)據(jù)整合層3NF），后續(xù)在數(shù)據(jù)整合層的訂單實體基礎(chǔ)上再擴展部分維度信息來完成后續(xù)層次的建設(shè)。

流量主題

流量主題與訂單主題的區(qū)別是非常大的，它的數(shù)據(jù)來源具有一定的特殊性，我們的總體建設(shè)思路是總-分-總的思路，首先從總的日志數(shù)據(jù)中剝離出來屬于酒旅事業(yè)群的數(shù)據(jù)，后續(xù)再從這些數(shù)據(jù)中分拆到各個具體的頁面（可以適當(dāng)補充些各個頁面中所具有的B端信息，如POI詳情頁中增加POI品類信息），最后再把各個頁面進行合并生成總的日志主題表（最終這張表會滿足80%以上的相關(guān)流量統(tǒng)計需求）。

運營主題

運營主題與訂單、流量主題相比也具有自身的特殊性，主要原因也在于其數(shù)據(jù)來源本身的特殊性，關(guān)于它的建設(shè)思路總體也是總-分-總，但我們本身的數(shù)據(jù)來源大多已經(jīng)不是最底層的ODS數(shù)據(jù)，而是一些已經(jīng)加工過的事實表或維度表，所以我們整體的建模原則基本上都是維度建模。

基于上面介紹的幾個主題，我們實際上在做分主題的層次架構(gòu)時也是基于本主題的業(yè)務(wù)、數(shù)據(jù)特點作為最終的判斷條件，沒有絕對的一種層次架構(gòu)適用于所有的主題，需要綜合各項要素來進行綜合判斷才能設(shè)計比較合適的層次架構(gòu)。

作者簡介

德臣，美團點評酒旅事業(yè)群數(shù)據(jù)倉庫專家，2003年畢業(yè)于湖南大學(xué)，2015年加入美團，整體負責(zé)酒旅事業(yè)群的離線數(shù)據(jù)倉庫、實時數(shù)據(jù)倉庫建設(shè)。

酒旅數(shù)據(jù)倉庫團隊，結(jié)合酒旅業(yè)務(wù)的發(fā)展，靈活利用大數(shù)據(jù)生態(tài)鏈的相關(guān)技術(shù)，致力于離線數(shù)據(jù)倉庫與實時數(shù)據(jù)倉庫的建設(shè)，為業(yè)務(wù)提供多樣化的數(shù)據(jù)服務(wù)。

最后發(fā)個廣告，美團點評酒旅數(shù)據(jù)倉庫團隊長期招聘數(shù)據(jù)倉庫、大數(shù)據(jù)開發(fā)、數(shù)據(jù)產(chǎn)品開發(fā)等方向的技術(shù)專家，有興趣的同學(xué)可以發(fā)送簡歷到y(tǒng)angdechen#meituan.com。

不想錯過技術(shù)博客更新？想給文章評論、和作者互動？第一時間獲取技術(shù)沙龍信息？

請關(guān)注我們的官方微信公眾號“美團點評技術(shù)團隊”�，F(xiàn)在就拿出手機，掃一掃：

 

來自：http://tech.meituan.com/hotel_dw_layer_topic.html

 

標(biāo)簽： O2O 大數(shù)據(jù) 大數(shù)據(jù)開發(fā) 互聯(lián)網(wǎng)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。