eBay的數(shù)據(jù)處理框架Accelerator提供并行執(zhí)行和自動組織源代碼、輸入數(shù)據(jù)及計算結(jié)果的功能。它可以用于數(shù)據(jù)分析、算法開發(fā)，以及擁有大型數(shù)據(jù)文件和多個CPU的實時推薦系統(tǒng)。它也有助于管理和記錄數(shù)據(jù)文件、計算、計算結(jié)果和它們之間相互關(guān)系。

eBay的團隊最近開源了Accelerator框架。Accelerator最初是由瑞典AI公司Expertmaker于2012開發(fā)。eBay在2016年收購了Expertmaker。

該框架用于處理像事物日志、事件日志和數(shù)據(jù)庫轉(zhuǎn)儲這樣的日志文件。Accelerator是基于C/S的應(yīng)用程序。它的架構(gòu)包括一個“runner”客戶端和兩個名為“daemon”和“urd”的服務(wù)器。

runner程序運行在daemon服務(wù)器上執(zhí)行作業(yè)的腳本(稱為構(gòu)建腳本，build scripts)。該服務(wù)器將加載并存儲執(zhí)行的所有作業(yè)的信息和計算結(jié)果。同時，所有作業(yè)將由urd服務(wù)器存儲到作業(yè)日志文件系統(tǒng)數(shù)據(jù)庫中。

Urd服務(wù)器把作業(yè)和它們的依賴項一起存儲在基于日志文件的數(shù)據(jù)庫中。所有在構(gòu)建腳本中發(fā)生的事情都可能被記錄到Urd中。

數(shù)據(jù)集是Accelerator的默認存儲類型，專為并行處理和高性能而設(shè)計的。

數(shù)據(jù)集構(gòu)建于作業(yè)之上，因此，數(shù)據(jù)集通過各種方法創(chuàng)建并存儲在作業(yè)目錄中，就像任何一個作業(yè)結(jié)果一樣。單個作業(yè)也許包含任意數(shù)目的數(shù)據(jù)集，因此可以把一個輸入數(shù)據(jù)集分成若干個新數(shù)據(jù)集。

該Accelerator的關(guān)鍵特性是重用計算結(jié)果和數(shù)據(jù)流。如果一項作業(yè)已經(jīng)存在，Accelerator將不再構(gòu)建此項作業(yè)。這節(jié)省了執(zhí)行時間，并有助于在用戶之間共享計算結(jié)果。它還提供了可見性并確保了確定性。數(shù)據(jù)流有助于處理連續(xù)的數(shù)據(jù)塊，比在數(shù)據(jù)庫里執(zhí)行查詢更有效率。流式傳輸是實現(xiàn)從硬盤到CPU高帶寬的最佳途徑，可以很好地利用操作系統(tǒng)基于RAM的硬盤緩沖區(qū)。

Accelerator內(nèi)存占用很小，可以在筆記本電腦或機架式服務(wù)器上運行。在開源之前，像Safeway、星巴克、eBay和Vodafone這樣的公司已經(jīng)把它運用于項目中了。

它獲得了Apache 2.0許可授權(quán)。如果您有興趣了解更多關(guān)于ExpertMaker Accelerator的信息，請查閱Github存儲庫、安裝存儲庫和用戶參考手冊。

閱讀英文原文：eBay's Accelerator Data Processing Framework Provides Parallel Execution and Live Recommendations

標簽： 代碼 服務(wù)器 服務(wù)器存儲 腳本 數(shù)據(jù)分析 數(shù)據(jù)庫

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。