據(jù)國外媒體報(bào)道，F(xiàn)acebook 的 20 億用戶中，絕大多數(shù)人不清楚 Facebook 有多少服務(wù)在多大程度上依靠人工智能來運(yùn)作。更沒多少人知道，在龐大的 Facebook 帝國，機(jī)器學(xué)習(xí)占有多大的分量。今天，我們翻譯了 Hazelwood 等人撰寫的文章，從數(shù)據(jù)中心基礎(chǔ)設(shè)施的角度，來窺視在 Facebook 內(nèi)部的機(jī)器學(xué)習(xí)應(yīng)用的情況。希望這篇文章能夠起到管中窺豹、拋磚引玉的作用。

這是一種奇妙的體驗(yàn)：機(jī)器學(xué)習(xí)幾乎滲透到業(yè)務(wù)的每一個(gè)環(huán)節(jié)，從頭到尾貫穿了整個(gè)堆棧�；仡欉^去十年來，軟件系統(tǒng)在這方面已經(jīng)發(fā)生了這么多根本性的變化，真讓人感到驚訝啊!

在 Facebook，機(jī)器學(xué)習(xí)到底有多普及呢?

“在 Facebook，機(jī)器學(xué)習(xí)提供了驅(qū)動(dòng)用戶體驗(yàn)幾乎所有方面的關(guān)鍵能力…… 機(jī)器學(xué)習(xí)廣泛應(yīng)用于幾乎所有的服務(wù)。”

“Facebook 通過機(jī)器學(xué)習(xí)管道匯集了所有存儲(chǔ)數(shù)據(jù)的大部分，隨著時(shí)間的推移，這一比例還在不斷增加，以提高模型的質(zhì)量。”

“展望未來，F(xiàn)acebook 預(yù)計(jì)現(xiàn)有的和新增的服務(wù)應(yīng)用的機(jī)器學(xué)習(xí)將會(huì)快速增長…… 隨著時(shí)間的推移，大多數(shù)服務(wù)顯示出利用更多用戶數(shù)據(jù)的趨勢(shì)…… 訓(xùn)練數(shù)據(jù)集有持續(xù)、有時(shí)是急劇增長的趨勢(shì)。”

現(xiàn)代用戶體驗(yàn)越來越受到機(jī)器學(xué)習(xí)模型的支持，而這些模型的質(zhì)量直接取決于為其提供數(shù)據(jù)的數(shù)量和質(zhì)量：“對(duì)于 Facebook 的許多機(jī)器學(xué)習(xí)模型來說，能否取得成功，要取決于廣泛、高質(zhì)量數(shù)據(jù)的可用性。” 數(shù)據(jù)(當(dāng)然是相關(guān)數(shù)據(jù))是現(xiàn)代公司能夠擁有的最有價(jià)值的資產(chǎn)之一。

正如我們上個(gè)月看到的文章 Continuum:a platform for cost-aware low-latency continual learning(《Continuum：成本感知低延遲持續(xù)學(xué)習(xí)的平臺(tái)》)所講的那樣，將最新數(shù)據(jù)納入到模型中的延遲也非常重要。在這篇文章中有一段寫得很好，作者研究了在一段時(shí)間內(nèi)失去訓(xùn)練模型的能力以及必須滿足陳舊模型的請(qǐng)求的影響。例如，社區(qū)誠信團(tuán)隊(duì)依靠經(jīng)過頻繁訓(xùn)練的模型來跟上對(duì)手，尋找試圖繞過 Facebook 保護(hù)并向用戶展示令人反感的內(nèi)容的不斷變化的方式。在這里，訓(xùn)練迭代需要幾天的時(shí)間。更依賴于將最近的數(shù)據(jù)合并到模型中的是消息來源(News Feed)排名。“陳舊的消息來源模型對(duì)質(zhì)量有可衡量的影響。” 如果我們看一看業(yè)務(wù)最核心的部分：廣告排名模型，“我們就會(huì)了解到，利用陳舊的機(jī)器學(xué)習(xí)模型的影響，是以小時(shí)為單位來衡量的。換言之，對(duì)于這個(gè)模型來說，使用一天比使用一個(gè)小時(shí)要槽糕得多。” 該文章這段的結(jié)論之一是，訓(xùn)練工作負(fù)載的災(zāi)難恢復(fù)和高可用性非常重要。(另一個(gè)練習(xí)混沌工程的地方。)

為了有助于理解這種普遍影響，只需看看 Facebook 上使用的一些機(jī)器學(xué)習(xí)的例子即可。

在 Facebook 使用機(jī)器學(xué)習(xí)的例子

消息來源中的故事排名是通過機(jī)器學(xué)習(xí)模型完成的。

通過機(jī)器學(xué)習(xí)模型確定向給定用戶顯示哪些廣告：“廣告模型經(jīng)過訓(xùn)練，以了解用戶特征、用戶背景、先前的交互和廣告屬性如何最能預(yù)測(cè)單擊廣告、訪問網(wǎng)站和 / 或購買產(chǎn)品的可能性。”

各種各樣的搜索引擎 (例如視頻、照片、人物、事件等等) 都是由機(jī)器學(xué)習(xí)模型驅(qū)動(dòng)的，而一個(gè)整體的分類器模型位于所有這些引擎之上，以決定對(duì)于任何給定的請(qǐng)求應(yīng)該搜索哪些垂直領(lǐng)域。

Facebook 的一般分類和異常檢測(cè)框架 Sigma 用于許多內(nèi)部應(yīng)用程序，包括網(wǎng)站完整性、垃圾郵件檢測(cè)、支付、注冊(cè)、未授權(quán)員工訪問、廣告事件建議。Sigma“每天都有數(shù)百種不同的模型在生產(chǎn)中運(yùn)行”。

Lumos 從圖像中提取屬性和嵌入。(我不確定 Lumos 和 Rosetta 的關(guān)系)

Facer 是 Facebook 的人臉檢測(cè)和識(shí)別框架。

超過 45 種源語言和目標(biāo)語言之間的翻譯，由每種語言對(duì)特有的模型提供支持，目前支持大約 2000 種翻譯方向。每天大約有 45 億份翻譯后的帖子。

語音識(shí)別模型將音頻流轉(zhuǎn)換成文本，為視頻提供自動(dòng)字幕。

而這些只是亮點(diǎn)……

除了上面提到的主要產(chǎn)品之外，更多的長尾服務(wù)還以各種形式利用機(jī)器學(xué)習(xí)。產(chǎn)品和服務(wù)的長尾達(dá)數(shù)百個(gè)。

AI 前線注：“長尾”(long-tail)這一概念是由 Chris Anderson 在 2004 年發(fā)表的《The Long Tail》一文中最早提出的，他通過對(duì) Amazon、iTunes 等電子商務(wù)零售商的銷售數(shù)據(jù)進(jìn)行研究，發(fā)現(xiàn)了一種符合統(tǒng)計(jì)規(guī)律中大數(shù)定律的現(xiàn)象。這種現(xiàn)象恰如價(jià)值、品種而為坐標(biāo)上的一條需求曲線，向代表 “品種” 的橫軸盡頭延伸，一直沒有墜落至零點(diǎn)。這種曲線在統(tǒng)計(jì)學(xué)中被稱作 “長尾分布”。因?yàn)橄鄬?duì)頭部來講，它的尾部特別長，就好像拖著一條長長的尾巴。“長尾” 也是因此而得名的。

常用的模型有哪些?

Facebook 使用的主要機(jī)器學(xué)習(xí)算法包括邏輯回歸、支持向量機(jī)、梯度提升決策樹(gradient boosted decision trees)和 DNN。在 DNN 家族中，MLP 用于對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行操作(如排序)，CNN 用于空間任務(wù)(如圖像處理)，RNN/LSTM 用于序列處理(如語言處理)。

 

 

從研究到生產(chǎn)：PyTorch，Caffe2 和 FBLearner

Facebook 內(nèi)部的 FBLearner 工具套件包括一個(gè) feature store(特征存儲(chǔ)庫)，它充當(dāng)特征生成器的目錄，可以用于訓(xùn)練和實(shí)時(shí)預(yù)測(cè)：“它相當(dāng)于一個(gè)市場(chǎng)，利用它，多個(gè)團(tuán)隊(duì)可以共享和發(fā)現(xiàn)特征。”FBLearner Flow 基于工作流描述對(duì)模型進(jìn)行訓(xùn)練，并內(nèi)置了對(duì)實(shí)驗(yàn)管理的支持。預(yù)測(cè)器使用 Flow 中訓(xùn)練的模型來提供實(shí)時(shí)預(yù)測(cè)。

訓(xùn)練模型的頻率遠(yuǎn)低于推理——時(shí)間尺度各不相同，但通常是幾天左右。訓(xùn)練也需要相對(duì)較長的時(shí)間來完成——通常是幾小時(shí)或幾天。同時(shí)，根據(jù)產(chǎn)品的不同，在線推理階段可能每天運(yùn)行數(shù)萬億次，并且通常需要實(shí)時(shí)執(zhí)行。在某些情況下，特別是在推薦系統(tǒng)方面，還以持續(xù)的方式在線進(jìn)行額外的訓(xùn)練。

在研究和探索方面，F(xiàn)acebook 使用 PyTorch：“它的前端專注于靈活性、調(diào)試和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，這使得快速實(shí)驗(yàn)成為可能。” 不過 PyTorch 并沒有針對(duì)生產(chǎn)和移動(dòng)部署進(jìn)行優(yōu)化，因此一旦開發(fā)出一個(gè)模型，它就會(huì)被轉(zhuǎn)換為 Caffe2，這是 Facebook 用于訓(xùn)練和部署大規(guī)模機(jī)器學(xué)習(xí)模型的生產(chǎn)框架。

Facebook 并不是簡(jiǎn)單重寫模型了事，而是積極構(gòu)建 ONNX 工具鏈(Open Neural Network Exchange，開放神經(jīng)網(wǎng)絡(luò)交換格式)，用于跨不同框架和庫的深度學(xué)習(xí)模型的標(biāo)準(zhǔn)交換。

在 Facebook 內(nèi)部，我們使用 ONNX 作為將研究模型從 PyTorch 環(huán)境轉(zhuǎn)移到高性能生產(chǎn)環(huán)境的主要手段。

基礎(chǔ)設(shè)施的影響

訓(xùn)練需要混合使用 CPU 和 GPU，而模型服務(wù)主要是由 CPU 完成的。對(duì)于訓(xùn)練來說，隨著模型使用的數(shù)據(jù)量持續(xù)增長，數(shù)據(jù)源的局部性就會(huì)變得非常重要。用于機(jī)器學(xué)習(xí)訓(xùn)練的 GPU 的物理位置是有意多樣化的，是為了能夠提供彈性以及在丟失區(qū)域 / 數(shù)據(jù)中心時(shí)能夠繼續(xù)訓(xùn)練的能力。

對(duì)于復(fù)雜的機(jī)器學(xué)習(xí)應(yīng)用(如廣告和新聞來源排名)，每個(gè)訓(xùn)練任務(wù)需要獲取的數(shù)據(jù)量超過了數(shù)百 TB。

數(shù)據(jù)量也意味著分布式訓(xùn)練變得越來越重要。“這不僅是 Facebook 的一個(gè)活躍的研究領(lǐng)域，在一般人工智能研究領(lǐng)域中也是如此。” 在推理過程中，模型通常被設(shè)計(jì)成在一臺(tái)機(jī)器上運(yùn)行，不過 Facebook 的主要服務(wù)也在不斷評(píng)估是否有必要開始擴(kuò)展超出單臺(tái)機(jī)器容量的模型。

除了數(shù)據(jù)量之外，還需要許多復(fù)雜的處理邏輯來清理和歸一化數(shù)據(jù)，以實(shí)現(xiàn)高效傳輸和輕松學(xué)習(xí)。這對(duì)存儲(chǔ)、網(wǎng)絡(luò)和 cpu 提出了非常高的資源需求。數(shù)據(jù)(準(zhǔn)備)工作負(fù)載和訓(xùn)練工作負(fù)載在不同的機(jī)器上保持分離。

這兩個(gè)工作負(fù)載具有非常不同的特征。數(shù)據(jù)工作負(fù)載非常復(fù)雜、特殊、依賴于業(yè)務(wù)，而且變化很快。另一方面，訓(xùn)練工作量通常是有規(guī)律的、穩(wěn)定的、高度優(yōu)化的，而且更喜歡 “干凈” 的環(huán)境。

硬件

摩爾定律(Moore’s law)可能已經(jīng)失效了，但是，比較一下 Facebook 在 2015 年設(shè)計(jì)使用的 “Big Sur” GPU 服務(wù)器和 2017 年使用的 “Big Basin” GPU 服務(wù)器在這兩年內(nèi)所取得的進(jìn)展還是很有意思的：

♦  每 GPU 的單精度浮點(diǎn)運(yùn)算從 7 萬億次到高達(dá) 15.7 萬億次。

♦  高帶寬內(nèi)存提供 900 GB/s 的帶寬(為 Big Sur 的 3.1 倍)。

♦  內(nèi)存從 12 GB 增加到 16 GB。

♦  高帶寬 NVLink 間 GPU 通信。

♦  與 Big Sur 相比，在訓(xùn)練 ResNet-50 圖像模型時(shí)，吞吐量提高了 300%。

未來的發(fā)展方向

機(jī)器學(xué)習(xí)工作負(fù)載的需求會(huì)影響到硬件選擇。例如，計(jì)算綁定機(jī)器學(xué)習(xí)工作負(fù)載受益于更廣泛的 SIMD 單元、專用卷積或矩陣乘法引擎以及專用協(xié)處理器。模型壓縮、量化和高帶寬內(nèi)存等技術(shù)有助于在 SRAM 或 LLC 中保留模型，并在不執(zhí)行時(shí)減輕影響。

為了減少將最新數(shù)據(jù)合并到模型中的延遲，需要進(jìn)行分布式訓(xùn)練，而分布式訓(xùn)練反過來又 “要求對(duì)網(wǎng)絡(luò)拓?fù)浜驼{(diào)度進(jìn)行仔細(xì)的協(xié)同設(shè)計(jì)，以有效地利用硬件，實(shí)現(xiàn)良好的訓(xùn)練速度和質(zhì)量。”

解決這些和其他新出現(xiàn)的挑戰(zhàn)仍然需要跨越機(jī)器學(xué)習(xí)算法、軟件和硬件設(shè)計(jì)的各種努力。

原文鏈接：

https://blog.acolyer.org/2018/12/17/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

作者：Hazelwood 等

譯者：Sambodhi

標(biāo)簽： 電子商務(wù) 服務(wù)器 媒體 排名 搜索 搜索引擎 通信 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。