最近，由Platform Computing和SAS研究所共同贊助的一項(xiàng)華爾街科技調(diào)查顯示，各種規(guī)模和類型的企業(yè)，無論其是買方還是賣方，都認(rèn)為不斷增加的數(shù)據(jù)量是進(jìn)行業(yè)務(wù)分析時(shí)面臨的最大挑戰(zhàn)，因此，在未來的一年里，它們將優(yōu)先投資于能敏捷分析和強(qiáng)有力的處理技術(shù)。對內(nèi)部和外部數(shù)據(jù)進(jìn)行預(yù)測分析將使得金融服務(wù)企業(yè)可以更好、更主動(dòng)地管理和解決各種可能遇到的信貸和經(jīng)營風(fēng)險(xiǎn)、欺詐和聲譽(yù)風(fēng)險(xiǎn)、客戶忠誠度和盈利能力等問題。
　　數(shù)據(jù)的增長，尤其是諸如電子郵件這樣的非結(jié)構(gòu)化數(shù)據(jù)的增長為企業(yè)帶來了特殊的挑戰(zhàn)，數(shù)據(jù)類型的多樣化和數(shù)據(jù)量的急劇增長使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫難以應(yīng)對，因此，金融服務(wù)企業(yè)正在針對數(shù)據(jù)分析研究下一代數(shù)據(jù)處理技術(shù)。
　　對于處理“大數(shù)據(jù)”來說，最有發(fā)展前景的技術(shù)之一是Apache Hadoop軟件和MapReduce框架。然而，現(xiàn)有的Hadoop軟件還缺少金融服務(wù)企業(yè)大規(guī)模部署MapReduce應(yīng)用時(shí)所需的企業(yè)級魯棒性。
　　在現(xiàn)有的MapReduce解決方案中，Platform公司的Platform Symphony MapReduce是最適合于投入生產(chǎn)環(huán)境中的產(chǎn)品，也是同類產(chǎn)品中的佼佼者。Platform Symphony MapReduce是一種面向MapReduce應(yīng)用的企業(yè)級分布式運(yùn)行時(shí)引擎，旨在為MapReduce應(yīng)用提供可隨時(shí)應(yīng)用到生產(chǎn)環(huán)境中的各種功能，諸如很高的資源可用性和可預(yù)測性、支持多種應(yīng)用和文件系統(tǒng)、操作成熟度、SLA策略控制以及極高的資源利用率。Platform Symphony MapReduce以Platform Computing公司多年來在分布式工作負(fù)載調(diào)度和管理領(lǐng)域的豐富經(jīng)驗(yàn)為基礎(chǔ)，其成熟的技術(shù)支持著《財(cái)富》500強(qiáng)中眾多公司要求極為苛刻的關(guān)鍵型任務(wù)的運(yùn)行，為企業(yè)級的MapReduce應(yīng)用提供了前所未有的分布式工作負(fù)載運(yùn)行時(shí)服務(wù)。
　　Platform Symphony MapReduce是一款擁有增強(qiáng)版MapReduce框架的企業(yè)級產(chǎn)品，其功能與Apache Hadoop的功能完全兼容，解決了組織機(jī)構(gòu)在目前可用的Apache Hadoop環(huán)境里部署MapReduce應(yīng)用所面臨的主要運(yùn)行風(fēng)險(xiǎn)。
　　Platform Symphony MapReduce包括以下主要模塊（見圖1）：

Platform Symphony MapReduce為企業(yè)級MapReduce應(yīng)用提供了以下主要功能：
　　● 策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器
　　Platform Symphony MapReduce策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器提供了10,000個(gè)優(yōu)先級，支持多個(gè)MapReduce作業(yè)并行運(yùn)行。這種策略驅(qū)動(dòng)型調(diào)度器的功能包括為搶先式作業(yè)提供資源優(yōu)先級，并對Map作業(yè)和Reducer作業(yè)進(jìn)行公平調(diào)度，這一切都在作業(yè)層進(jìn)行，以提供更好的細(xì)粒度和控制度。
　　● 極高的資源可用性
　　Platform Symphony MapReduce在分布式運(yùn)行時(shí)引擎中確保了正常運(yùn)行時(shí)間——因?yàn)闆]有單一故障點(diǎn)。它提供了作業(yè)跟蹤器/任務(wù)跟蹤器自動(dòng)實(shí)現(xiàn)故障切換和作業(yè)恢復(fù)，無需重新啟動(dòng)作業(yè)。Platform Symphony MapReduce為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動(dòng)實(shí)現(xiàn)故障切換的功能，并提供了文件系統(tǒng)恢復(fù)和相關(guān)作業(yè)恢復(fù)功能。
　　● 為應(yīng)用開發(fā)和文件系統(tǒng)的選擇提供了開放式架構(gòu)
　　Platform Symphony MapReduce采用開放式架構(gòu)，支持多種MapReduce應(yīng)用，確保Hadoop應(yīng)用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。內(nèi)置在產(chǎn)品中的應(yīng)用適配器（Application Adapter）技術(shù)提供了與Platform MapReduce無縫的應(yīng)用集成，如此一來，采用Hadoop MapReduce技術(shù)（Java、Pig、Hive及其他技術(shù)）構(gòu)建的作業(yè)無需改動(dòng)編程邏輯，即可在Platform Symphony MapReduce上執(zhí)行。這種開放式架構(gòu)還提供了一種方法，可充分利用多種類型的文件系統(tǒng)和數(shù)據(jù)庫架構(gòu)。Platform Symphony MapReduce全面支持HDFS、GPFS及其他分布式文件系統(tǒng)類型和數(shù)據(jù)類型。此外，就MapReduce進(jìn)程而言，輸入數(shù)據(jù)源文件系統(tǒng)的類型可以不同于輸出數(shù)據(jù)源文件系統(tǒng)。這便于支持許多應(yīng)用，包括抽取、轉(zhuǎn)換和加載（ETL）工作流邏輯。
　　● 支持同一集群上運(yùn)行的多種MapReduce應(yīng)用和混合類型的工作負(fù)載
　　Platform Symphony MapReduce為MapReduce工作負(fù)載支持多達(dá)300種不同的應(yīng)用（作業(yè)跟蹤器），以及其他類型的分布式應(yīng)用。這讓客戶可以充分利用現(xiàn)有資源和新資源，最大限度地利用IT基礎(chǔ)架構(gòu)，同時(shí)只需使用單一管理界面。
　　● 支持滾動(dòng)升級
　　Platform Symphony MapReduce支持在同一集群上運(yùn)行的多個(gè)版本的MapReduce應(yīng)用，無需停止運(yùn)行整個(gè)集群，就可以升級軟件。運(yùn)行升級后應(yīng)用的服務(wù)器可與其他節(jié)點(diǎn)上前一個(gè)版本的軟件產(chǎn)品共存，因而可以在一組服務(wù)器上逐步進(jìn)行升級，無需讓整個(gè)集群停止運(yùn)行。
　　● 更出色的監(jiān)控和故障排除功能
　　Platform Symphony MapReduce可監(jiān)控處理器和內(nèi)存的使用量，并相應(yīng)分配資源。它提供了從單臺服務(wù)器獲取日志數(shù)據(jù)，并從單一界面來管理這些數(shù)據(jù)的功能。
　　● 極強(qiáng)的數(shù)據(jù)親和力
　　Platform Symphony MapReduce擁有強(qiáng)大的數(shù)據(jù)親和力（data affinity）功能，通過在調(diào)度管理MapReduce工作負(fù)載時(shí)充分考慮數(shù)據(jù)位置，大幅提升應(yīng)用性能和資源利用率。其數(shù)據(jù)親和力功能節(jié)省了MapReduce應(yīng)用訪問大量數(shù)據(jù)所需的時(shí)間。通過加快文件訪問速度，它可以將總的應(yīng)用性能提升400%。
　　Platform Symphony MapReduce目前已經(jīng)在多個(gè)關(guān)鍵的市場廣泛采用，其中包括金融服務(wù)、政府機(jī)構(gòu)、零售業(yè)和生命科學(xué)等行業(yè)，為遍及各大行業(yè)的全球財(cái)富500強(qiáng)企業(yè)中要求最為苛刻、關(guān)鍵任務(wù)的分布式計(jì)算工作負(fù)載提供支持。

標(biāo)簽： 大數(shù)據(jù) 電子郵件 服務(wù)器 金融 企業(yè) 數(shù)據(jù)分析 數(shù)據(jù)庫 問題 行業(yè) 選擇

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。