銀行業(yè)一直走在數(shù)字化轉(zhuǎn)型的前沿，客戶畫像、精準(zhǔn)營銷、反欺詐等幾乎所有的業(yè)務(wù)都與數(shù)據(jù)息息相關(guān)，而在這些業(yè)務(wù)背后做支撐的就是銀行的大數(shù)據(jù)平臺。首屆 Kylin Data Summit 特別邀請了建信金融科技的架構(gòu)團(tuán)隊(duì)技術(shù)總監(jiān)朱志，為大家分享銀行大數(shù)據(jù)架構(gòu)的演變過程、未來展望和深度思考。朱志先生長期從事信息技術(shù)規(guī)劃、架構(gòu)管理、大數(shù)據(jù)分析平臺研發(fā)、數(shù)據(jù)及技術(shù)標(biāo)準(zhǔn)化等工作。

銀行大數(shù)據(jù)的過去與現(xiàn)在

建設(shè)銀行長期以來持續(xù)關(guān)注著大數(shù)據(jù)行業(yè)技術(shù)和趨勢的發(fā)展。跟隨著數(shù)據(jù)技術(shù)的不斷更新，建設(shè)銀行每年都會同步更新自己的路線圖。建行一邊在數(shù)據(jù)驅(qū)動(dòng)，一邊應(yīng)用驅(qū)動(dòng)，不斷地找新亮點(diǎn)來突破我們自己的行業(yè)。

 

 

 

 

(Big Data Landscape 2018)

在兩三年前，建行就把數(shù)據(jù)和敏捷開發(fā)結(jié)合在一起，實(shí)現(xiàn)了一個(gè)內(nèi)部的數(shù)據(jù)應(yīng)用。當(dāng)很多人還需要大量頁面開發(fā)來實(shí)現(xiàn)儀表盤功能時(shí)，建行就已經(jīng)實(shí)現(xiàn)了用一個(gè)很小團(tuán)隊(duì)，支撐全行所有人在手機(jī)上使用數(shù)據(jù)，所有數(shù)據(jù)像同花順股票一樣可以定制，不需要開發(fā)，而且可以支撐幾十萬用戶的訪問。

回看過去，從數(shù)據(jù)倉庫一體機(jī)，到 Hadoop 崛起，到今天進(jìn)入了一個(gè)混沌狀態(tài)，沒有人知道大數(shù)據(jù)未來。但是在我們看來，我們期待未來一定會有一個(gè)技術(shù)能夠突破出來，變成指數(shù)級增長。

 

 

整個(gè)過程其實(shí)是大數(shù)據(jù)架構(gòu)演進(jìn)的過程，從開始 INMON 和 KIMBALL 不斷地爭吵，賣一體機(jī)的非常喜歡 INMON 。做服務(wù)的人喜歡 KIMBALL ，可以快速啟動(dòng)一個(gè)數(shù)據(jù)項(xiàng)目。他倆打架打了 30 年，銀行就在他們爭論中演進(jìn)了 30 年。一直走到有一天谷歌寫了三篇著名的關(guān)于分布式的論文。這三篇論文是一個(gè)基點(diǎn)，而把這個(gè)文章給放大出來的人，是 Doug Cutting。而最近新一輪的混亂是誰引起的?James Dixon，Pentaho 的 CTO，他提出了 Data Lake。

從事架構(gòu)工作一直要回答路線之爭。對于銀行業(yè)來說，未來到底是數(shù)據(jù)湖還是數(shù)據(jù)倉庫?數(shù)據(jù)湖會不會替代數(shù)據(jù)倉庫? Gartner 還提出了 Data Hub。這就是我們今天面臨的現(xiàn)狀，我們迫切希望盡早突破這種混沌，走到未來一個(gè)指數(shù)級的數(shù)據(jù)區(qū)間。

 

 

Data Lake 根據(jù)數(shù)據(jù)不同的時(shí)效性，可以更方便進(jìn)行業(yè)務(wù)洞察，有了這樣的架構(gòu)。Data Hub ，我發(fā)現(xiàn)跟我們十幾年前 ODS 差不多，多了個(gè)云數(shù)據(jù)。各方面的爭論太多了，Gartner 又提出了一個(gè)詞叫 Logical Data Warehouse，希望能夠統(tǒng)一這些路線。而關(guān)于這些路線之爭深刻困擾著架構(gòu)工程師們，目前建行在內(nèi)部走成了如下圖這個(gè)結(jié)構(gòu)，Data Hub 在建行內(nèi)部叫數(shù)據(jù)復(fù)制組件，可以由業(yè)務(wù)人員自己定制將數(shù)據(jù)，將數(shù)據(jù)復(fù)制到指定位置，因此有些工程師將開始失業(yè)了。

 

 

同時(shí)，我們也還在使用傳統(tǒng)的數(shù)據(jù)倉庫，因?yàn)殂y行有大量監(jiān)管的東西沒法替代。但是整個(gè)數(shù)據(jù)探索，就是所謂的數(shù)據(jù)湖在不斷地增長，所以最后走成了今天這個(gè)樣子。但我覺得還是個(gè)陷阱，因?yàn)檫@里面耗費(fèi)了大量的資源和人力。

前進(jìn)中遇到的困難

一起看下面這張圖，我們從問題和數(shù)據(jù)兩個(gè)維度看，什么樣的東西應(yīng)該用什么架構(gòu)。我們發(fā)現(xiàn)創(chuàng)新與探索適用于未知的問題和未知的數(shù)據(jù)，用 Data Lake 更合適;而左下角已知數(shù)據(jù)和已知問題用 Data Warehouse 用容易一些。Gartner 發(fā)布了一個(gè)更復(fù)雜的圖，但是現(xiàn)實(shí)情況并不是這么具有邏輯性。在銀行業(yè)大家都知道，銀行業(yè)非常依賴外包，無論是外包，還是互聯(lián)網(wǎng)，大家都很想做 to B 業(yè)務(wù)。

 

 

在 to B 業(yè)務(wù)領(lǐng)域內(nèi)，很多一體機(jī)廠商喊了非常多年 TCO，實(shí)際在甲方做決定時(shí)，沒有人能拿出 TCO 這個(gè)數(shù)據(jù)。新技術(shù)的演進(jìn)很快，從一體機(jī)到 Hadoop、Spark、Flink 再到 Kylin。但無論技術(shù)怎么進(jìn)步，我發(fā)現(xiàn)我們的外包廠商只會寫 SQL。我們做了非常多 SQL，沉淀了 20 年，業(yè)務(wù)部門不會為過去的努力買單，我們所有新技術(shù)似乎只能做新的業(yè)務(wù)場景，這就是我們今天乃至過去五六年，作為銀行業(yè)的架構(gòu)師所面臨的窘境。

這個(gè)窘境怎么解決呢?我們做過一個(gè)嘗試。這個(gè)架構(gòu)圖展示了建行如何去做一個(gè)混合的數(shù)據(jù)架構(gòu)。我們面對外包服務(wù)人員寫的 SQL，隨意挑出一個(gè) SQL 語句可以打五到六頁 A4 紙大小，我們想方設(shè)法地把一個(gè) SQL 語句從一個(gè)技術(shù)搬到另外一個(gè)技術(shù)，比如常見的就是比如說 Teradata 搬到 SQL Server， SQL Server 搬到 Oracle，Oracle 搬到 Greenplum，還想搬到 Hadoop 上。

 

 

當(dāng)遷移到 Hadoop 的時(shí)候問題就來了。我們分析這些 SQL，分析完了以后看起來很漂亮，其實(shí)沒有用。我們做了大量的解釋語句，我們付出的慘痛代價(jià)得到了一個(gè)教訓(xùn)。當(dāng)技術(shù)的基礎(chǔ)邏輯改變的時(shí)候，我們不應(yīng)該翻譯 SQL，這個(gè)只會牽絆住我們。當(dāng)我們簡單保持邏輯，把 SQL 語句從一個(gè)地方翻譯到另外一個(gè)地方，遭遇了更大的挑戰(zhàn)，數(shù)據(jù) IO 遇到很大挑戰(zhàn)，數(shù)據(jù)血緣關(guān)系上碰到了挑戰(zhàn)，數(shù)據(jù)整個(gè)時(shí)間窗口碰到挑戰(zhàn)，包括數(shù)據(jù)性能也碰到挑戰(zhàn)。保持業(yè)務(wù)一致性，其實(shí)犧牲了所有跟技術(shù)相關(guān)的東西，這就是我們最大的教訓(xùn)。

銀行業(yè)未來的格局

今天看，如果只從技術(shù)出發(fā)來解決解決問題，是走不出這個(gè)混沌的。去年我參加了金融科技戰(zhàn)略規(guī)劃的會議，在這個(gè)會議上看到了銀行業(yè)未來，這也是我們成立建信金融科技公司原因。剛開始銀行和互聯(lián)網(wǎng)業(yè)獨(dú)立發(fā)展，到現(xiàn)在其實(shí)開始慢慢合作了，未來很多數(shù)據(jù)會在金融科技公司，這將會形成相互的引流。

比爾蓋茨：“我們需要銀行業(yè)，但不需要銀行”。

下面這張圖介紹的是 wells Fargo 一家美國銀行的在線業(yè)務(wù)，每一個(gè)線上業(yè)務(wù)都可以找到一個(gè)美國金融科技公司替代。我們必須通過回到銀行業(yè)的本質(zhì)來找整個(gè)數(shù)據(jù)平臺未來的模式。

 

 

對于銀行業(yè)來說，第一原理是什么?過去銀行都是在鋼筋水泥中，今天銀行是線上，線上銀行有什么變化呢?有什么沒有變的呢?

銀行業(yè)本質(zhì)就是存貸匯。存，是資金端創(chuàng)新，也就是互聯(lián)網(wǎng)金融過去十年做的事情;貸，這是接下來銀行業(yè)熱點(diǎn)，我們要把資金端和優(yōu)秀資產(chǎn)端對接;匯，就是發(fā)生交易的地方，這就是銀行業(yè)本質(zhì)，就是完成資源在時(shí)間和空間上的錯(cuò)配，這就是銀行業(yè)本質(zhì)。

 

 

而每一個(gè)改變，都是技術(shù)驅(qū)動(dòng)，任何一個(gè)點(diǎn)都離不開數(shù)據(jù)，銀行業(yè)未來是什么呢?

第一：虛擬化。首先它是一個(gè)分布式架構(gòu)，這個(gè)分布式架構(gòu)不是指在不同機(jī)器上存儲數(shù)據(jù)，而指在不同的法人實(shí)體間，就像今天建信金融科技跟建設(shè)銀行之間的關(guān)系，它是指不同法人之間關(guān)系。

第二：貫穿企業(yè)的內(nèi)部運(yùn)營和外部環(huán)境之間的關(guān)系。過去做數(shù)據(jù)倉庫的時(shí)候，更多使用企業(yè)內(nèi)部信息，而今天可能你不知道自己要在哪里分析數(shù)據(jù)，需要結(jié)合環(huán)境、企業(yè)應(yīng)用以及所涉及的問題。

第三：用戶想在哪看數(shù)據(jù)，應(yīng)該在哪看數(shù)據(jù)，就可以在哪看數(shù)據(jù)。昨天是 PC，今天是手機(jī)，明天可能是一個(gè)可以操縱的物體，最后一個(gè)重要的事情是不能用邏輯驅(qū)動(dòng)這個(gè)技術(shù)，而需要靠 TCO、SLA 來驅(qū)動(dòng)這個(gè)變化，

未來，銀行大數(shù)據(jù)平臺的三個(gè)機(jī)會

第一個(gè)機(jī)會：數(shù)據(jù)訪問 API 化。這句話是講給，從事 to B 業(yè)務(wù)，也包括自己。完成數(shù)據(jù) API 化，打通內(nèi)部和外部，包括打通內(nèi)部之間不同形態(tài)的技術(shù)。

第二個(gè)機(jī)會：降維打擊 SQL。我們需要更多方式來解析數(shù)據(jù)，包括 Gartner 提到的，我們可以用一些自然語言，自然語言有點(diǎn)太先進(jìn)了，過去微軟提出來 MDX，還有最近提出來的函數(shù)式編程，還有更多的編程模式來替代 SQL，來提高效率。

第三個(gè)機(jī)會，應(yīng)用更多 AI 技術(shù)治理數(shù)據(jù)。

 

標(biāo)簽： 銀行大數(shù)據(jù) 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。