大數(shù)據(jù)作為云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域。越來(lái)越多的政府、企業(yè)等機(jī)構(gòu)開(kāi)始意識(shí)到數(shù)據(jù)正在成為組織最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競(jìng)爭(zhēng)力。如何通過(guò)數(shù)據(jù)整合分析為企業(yè)提供全方位的調(diào)度、監(jiān)控、管理等功能，從而最大程度提供更加專業(yè)化和個(gè)性化的服務(wù)，已成為企業(yè)關(guān)注的焦點(diǎn)。作為國(guó)內(nèi)領(lǐng)先的企業(yè)數(shù)據(jù)整合解決方案提供商，北京先進(jìn)數(shù)通信息技術(shù)股份公司（簡(jiǎn)稱“先進(jìn)數(shù)通”）曾獲得IBM頒發(fā)的IBM信息管理（IM）卓越解決方案全球大獎(jiǎng)，并獲得中國(guó)建設(shè)銀行數(shù)據(jù)大集中工程主要軟件服務(wù)提供商及網(wǎng)絡(luò)系統(tǒng)集成服務(wù)商等資質(zhì)。公司參與了國(guó)有商業(yè)銀行等金融機(jī)構(gòu)和大型企事業(yè)單位的信息化工程項(xiàng)目，擁有眾多的成功案例及自有知識(shí)產(chǎn)權(quán)的產(chǎn)品群，并在金融渠道應(yīng)用、信息資產(chǎn)管理和分析、個(gè)人金融服務(wù)、網(wǎng)絡(luò)集成服務(wù)等領(lǐng)域保持著業(yè)界領(lǐng)先地位。

      先進(jìn)數(shù)通擁有完全具備自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)管理產(chǎn)品家族IMOIA，并發(fā)布了新一代監(jiān)控調(diào)度平臺(tái)IMOIA.SMS，全面支持IBM Datastage、Informatica等ETL工具，為數(shù)據(jù)處理業(yè)務(wù)提供調(diào)度、管理、監(jiān)控等全方位的專業(yè)支持，確保數(shù)據(jù)處理業(yè)務(wù)安全、穩(wěn)定、高效地運(yùn)行，幫助用戶穩(wěn)步進(jìn)入大數(shù)據(jù)時(shí)代。

 

構(gòu)建數(shù)據(jù)交換平臺(tái)生態(tài)環(huán)

 

 

      長(zhǎng)安汽車在數(shù)據(jù)交換平臺(tái)建設(shè)的過(guò)程中技術(shù)難題不斷出現(xiàn)：數(shù)據(jù)交換平臺(tái)涉及集團(tuán)各業(yè)務(wù)平臺(tái)，系統(tǒng)接口繁雜，接口參數(shù)難于管理，需要及時(shí)傳輸數(shù)據(jù)，數(shù)據(jù)交換作業(yè)要循環(huán)執(zhí)行，整個(gè)平臺(tái)的任務(wù)并發(fā)量難以控制，處理服務(wù)器存在配置差異，任務(wù)的均衡分配受到挑戰(zhàn)。為此，長(zhǎng)安汽車與先進(jìn)數(shù)通公司合作，引入調(diào)度產(chǎn)品MOIA作為數(shù)據(jù)交換平臺(tái)的調(diào)度核心，采用iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)方案。該系統(tǒng)實(shí)現(xiàn)了資料數(shù)據(jù)庫(kù)、數(shù)據(jù)交換平臺(tái)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)三網(wǎng)融合，最大可能的滿足數(shù)據(jù)交換平臺(tái)的高速通訊需要。

      該系統(tǒng)通過(guò)Agent實(shí)現(xiàn)對(duì)DataStage作業(yè)以及命令行等的執(zhí)行調(diào)度，借助iMOIA.SMS的調(diào)度系統(tǒng)，形成了事件服務(wù)、調(diào)度決策服務(wù)、資源分配服務(wù)等機(jī)制，實(shí)現(xiàn)對(duì)數(shù)據(jù)交換任務(wù)的準(zhǔn)實(shí)時(shí)循環(huán)調(diào)度，實(shí)現(xiàn)數(shù)據(jù)交換任務(wù)異常狀態(tài)實(shí)時(shí)短信預(yù)警，通過(guò)業(yè)務(wù)流程展現(xiàn)數(shù)據(jù)交換流程，清晰把控業(yè)務(wù)流程。

通過(guò)iMOIA.SMS產(chǎn)品應(yīng)用實(shí)施，系統(tǒng)目前已管理作業(yè)達(dá)到1200余個(gè)，實(shí)現(xiàn)了即時(shí)調(diào)度數(shù)據(jù)處理任務(wù)實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)與財(cái)務(wù)系統(tǒng)間的訂單信息傳遞，保證業(yè)務(wù)的及時(shí)性和連續(xù)性，并清晰展現(xiàn)出數(shù)據(jù)傳輸作業(yè)間的關(guān)系，有效梳理出數(shù)據(jù)傳輸平臺(tái)的數(shù)據(jù)鏈路。

 

高效利用集中統(tǒng)一調(diào)度平臺(tái)

 

 

      問(wèn)題同樣出現(xiàn)在使用DataStage作為其ETL工具的友邦保險(xiǎn)，友邦保險(xiǎn)之前的數(shù)據(jù)交換主要集中在業(yè)務(wù)系統(tǒng)到數(shù)據(jù)中心的數(shù)據(jù)加工處理，以及業(yè)務(wù)系統(tǒng)與BI系統(tǒng)間的數(shù)據(jù)傳輸和交換。但隨著ETL作業(yè)所涉及的業(yè)務(wù)種類的增加，ETL作業(yè)量開(kāi)始迅速增長(zhǎng)，系統(tǒng)間的數(shù)據(jù)交換關(guān)系也越來(lái)越復(fù)雜。首先，ETL作業(yè)較多，統(tǒng)一管理困難，其次，ETL服務(wù)器需要集中為統(tǒng)一的資源池，共同負(fù)載ETL作業(yè)，ETL作業(yè)需要?jiǎng)討B(tài)均衡地分配到各ETL服務(wù)器上，服務(wù)器的資源管理存在一定難度，此外還需要專門(mén)針對(duì)DataStage作業(yè)進(jìn)行調(diào)度，應(yīng)用接口復(fù)雜。

      為應(yīng)對(duì)復(fù)雜的ETL作業(yè)調(diào)度場(chǎng)景，iMOIA.SMS調(diào)度采用事件驅(qū)動(dòng)機(jī)制，該機(jī)制是在調(diào)度過(guò)程中進(jìn)行決策的一種策略，即跟隨當(dāng)前時(shí)間點(diǎn)上出現(xiàn)的事件，調(diào)動(dòng)可用資源，執(zhí)行相關(guān)任務(wù)。在項(xiàng)目中iMOIA.SMS系統(tǒng)建立了ETL作業(yè)的調(diào)度控制核心、數(shù)據(jù)中心平臺(tái)的管理中心、資源控制中心、安全保障中心。

      隨著iMOIA.SMS引入實(shí)現(xiàn)其多臺(tái)ETL服務(wù)器資源的整合，為其3000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計(jì)算資源，實(shí)現(xiàn)資源的動(dòng)態(tài)負(fù)載均衡和高可用。

 

數(shù)據(jù)調(diào)度促進(jìn)大數(shù)據(jù)應(yīng)用

      先進(jìn)數(shù)通公司是國(guó)內(nèi)最重要的IT集成與實(shí)施廠商之一，多年來(lái)致力于為中國(guó)企業(yè)的信息化建設(shè)提供專業(yè)服務(wù)。多年來(lái)一直關(guān)注ODS/DW/BI領(lǐng)域，目前先進(jìn)數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)在國(guó)內(nèi)銀行、證券、保險(xiǎn)、制造等行業(yè)均有大量的用戶，受到了行業(yè)用戶的認(rèn)可。

      在零售行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與李寧體育ODS ETL數(shù)據(jù)調(diào)度統(tǒng)一管理的建設(shè)工作，通過(guò)將先進(jìn)數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)部署在李寧體育ODS ETL等系統(tǒng)之上，實(shí)現(xiàn)了對(duì)零售系統(tǒng)、庫(kù)存系統(tǒng)的每日數(shù)據(jù)抽取控制，以及對(duì)ETL服務(wù)器進(jìn)行資源整合，實(shí)現(xiàn)資源的充分應(yīng)用。

      在證券行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與華泰證券收購(gòu)聯(lián)合證券后，數(shù)據(jù)中心系統(tǒng)已實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)間的信息整合建設(shè)工作。華泰證券使用MOIA調(diào)度平臺(tái)以實(shí)現(xiàn)其多臺(tái)ETL服務(wù)器資源的整合，為其2000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計(jì)算資源，實(shí)現(xiàn)資源的動(dòng)態(tài)負(fù)載均衡和高可用。

      在銀行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與平安銀行企業(yè)級(jí)的ETL平臺(tái)建設(shè)工作，平安銀行的ETL平臺(tái)，需要一個(gè)功能全面、高擴(kuò)展性、高穩(wěn)定性的企業(yè)級(jí)調(diào)度平臺(tái)，從2008年至今平安銀行的MOIA系統(tǒng)中已經(jīng)部署了55000個(gè)作業(yè)，成為整個(gè)數(shù)據(jù)線建設(shè)最為重要的運(yùn)行平臺(tái)。通過(guò)MOIA產(chǎn)品的實(shí)施，平安銀行取得如下效果；穩(wěn)定、擴(kuò)展性高的復(fù)雜集群管理;快捷、簡(jiǎn)便的調(diào)度開(kāi)發(fā)；統(tǒng)一的作業(yè)調(diào)度監(jiān)控。

      隨著中國(guó)各行業(yè)信息化水平不斷攀升，越來(lái)越多的用戶開(kāi)始面臨著大量的、復(fù)雜的數(shù)據(jù)調(diào)度難題。而先進(jìn)數(shù)通的行業(yè)大數(shù)據(jù)調(diào)度則抓住了這個(gè)切口，為以上這些用戶的大數(shù)據(jù)價(jià)值挖掘提供了產(chǎn)品和技術(shù)的支持。

標(biāo)簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)時(shí)代 大數(shù)據(jù)應(yīng)用 服務(wù)器 服務(wù)商 金融 企業(yè) 數(shù)據(jù)分析 數(shù)據(jù)庫(kù) 通信 網(wǎng)絡(luò) 問(wèn)題 信息化 信息技術(shù) 行業(yè) 行業(yè)大數(shù)據(jù) 用戶 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。