今年 5 月份，F(xiàn)8 大會的第二天中，F(xiàn)acebook 曾宣布 PyTorch1.0 即將與大家見面，這是繼先前發(fā)布 0.4.0 后的一次較大調(diào)整。近日，在首屆 PyTorch 開發(fā)者大會上，F(xiàn)acebook 宣布了有關(guān)該框架生態(tài)一系列更新，包括軟件、硬件和教育方面的合作。于此同時，PyTorch 1.0 預覽版也正式發(fā)布了。

項目鏈接：https://github.com/pytorch/pytorch/releases

據(jù)介紹，PyTorch 1.0 加速了產(chǎn)品化 AI 突破性研究的進程。從亞馬遜、谷歌、微軟的深度云服務(wù)支持，到緊密結(jié)合 ARM、英特爾、IBM、英偉達和高通等技術(shù)方，開發(fā)者們能夠更輕松的利用 PyTorch 兼容了軟件、硬件和開發(fā)工具的生態(tài)。Facebook 表示，PyTorch 1.0 融合越多的軟件和硬件，開發(fā)者能夠越容易地快速建立、訓練、部署頂級的深度學習模型。

「我們在 PyTorch1.0 發(fā)布前解決了幾大問題包括：可重用、性能、編程語言和可擴展性，」Facebook 人工智能副總裁 Jerome Pesenti 在發(fā)布會開場時表示�！傅�是，facebook 認為自身在開發(fā)深度學習框架道路上只行進了 1%，我們希望 PyTorch 是以用戶為中心的，以社區(qū)為主要驅(qū)動力�！�

 

 

PyTorch 1.0 主要新特性

據(jù)官方博客介紹，最新版本的 PyTorch 有了一系列重大更新，例如增加了一個全新的融合前端，它能夠追蹤來自 eager 模式的模型，并融合到圖模式中，從而彌補研究與產(chǎn)品部署直接的差距;增加了一個修訂過的 torch.distributed 庫，能夠讓開發(fā)者在 Python 和 C++環(huán)境中進行更快的訓練;增加了一個 eager 模式的 C++接口(beta 版)進行關(guān)鍵性能研究。

首先是 torch.jit。據(jù)現(xiàn)場介紹，JIT 是一組編譯工具，它的目標是彌補研究與產(chǎn)品部署的差距。JIT 包含一種名為 Torch Script 的語言，這種語言是 Python 的自語言。使用 Torch Script 的代碼可以實現(xiàn)非常大的優(yōu)化，并且可以序列化以供在后續(xù)的 C++API 中使用。

 

 

C++前端是連接 PyTorch 后段的純 C++接口，但它同時遵循已建立的 Python 前端 API 和架構(gòu)。C++前端的目標在于實現(xiàn)高性能、低延遲的 C++應(yīng)用，因此它提供的接口等價于 Python 前端所采用 torch.nn 和 torch.optim 等。

 

 

其實 Python 不一定比 C ++慢，Python 前端調(diào)用 C ++計算的成本很高(特別是數(shù)值型的運算)，這些運算將在程序上花費額外的時間。但是，如果你需要在低延遲、高性能或多線程的環(huán)境下部署產(chǎn)品，例如視頻游戲等，那么 Python 前端可能會存在一些問題，而 C ++前端就是來解決這些問題的。

在支持分布式訓練方面，PyTorch1.0 同樣做了一系列更新。例如，增加了一個修訂過的 torch.distributed 庫，能夠讓開發(fā)者在 Python 和 C++環(huán)境中進行更快的訓練。目前，PyTorch 框架的模型在多 GPU 的條件下可以保持幾乎線性的計算效率提升。

 

 

 

 

PyTorch 1.0 在分布式訓練方面的更新包括全新的后端設(shè)計和高度可擴展的性能：

 

 

其中包括：

• 全新異步后端庫：C10D;

• 支持 Python 和 C++;

• 全后向兼容后端 Python API;

• 在關(guān)鍵工作負載上的頂點性能;

• 數(shù)據(jù)并行：單節(jié)點、多 GPU;

• 數(shù)據(jù)并行：多節(jié)點、多 GPU。

目前研究員和工程師們需要使用多個框架和工具來研究新的深度學習模型并把它們遷移到產(chǎn)品環(huán)境中大規(guī)模運行，但這些框架或者工具大部分都是不兼容的。如此一來，大大拉慢了研究員或者工程師產(chǎn)品化突破性 AI 研究的速度。在最新版本中，F(xiàn)acebook 結(jié)合了 PyTorch 框架的靈活性與 Caffe2 的產(chǎn)品化能力，提供了從研究到產(chǎn)品的無縫對接。

 

 

對框架的開發(fā)者來說，幸運的是，pytorch 的生產(chǎn)環(huán)境部分并不是從零開始開發(fā)的，F(xiàn)acebook 還有另一個面向業(yè)界的框架：caffe2。

PyTorch 生態(tài)的深度支持

除了宣布重要更新內(nèi)容，F(xiàn)acebook 還介紹了來自 PyTorch 1.0 生態(tài)的深度支持，這些支持既包括云服務(wù)又包括英偉達、高通、英特爾這樣的技術(shù)提供方。具體介紹如下：

從云平臺、產(chǎn)品到服務(wù)，AWS、谷歌和微軟加深了對 PyTorch 1.0 更穩(wěn)健的支持。例如，AWS 大規(guī)模訓練、部署機器學習模型的全棧管理平臺 Amazon Sagemaker，現(xiàn)在能為 PyTorch 1.0 提供預配置環(huán)境，包括自動模型調(diào)優(yōu)這樣的強大能力。

谷歌正宣布其為 AI 開發(fā)者制定的多種軟件和硬件工具將與 PyTorch 1.0 實現(xiàn)集成。谷歌云平臺的深度學習虛擬機現(xiàn)在有一個新的 PyTorch 1.0 VM 鏡像文件，其預安裝了 NVIDIA 驅(qū)動與教程。谷歌同樣為 PyTorch 提供了張量處理單元(TPU)，這是一種用于機器學習的定制化專用集成芯片(ASIC)。通過 Google Cloud TPU 團隊和 PyTorch 團隊的合作，目前基于 PyTorch 1.0 的模型能使用這種定制化的硬件了。

Facebook 的和微軟在早期提出了另一個重要的倡議，即開源的神經(jīng)網(wǎng)絡(luò)交換格式 ONNX，而現(xiàn)在微軟也進一步致力于在機器學習產(chǎn)品套件中為 PyTorch 提供一流的支持。Azure 機器學習服務(wù)現(xiàn)在允許開發(fā)者將本地訓練的 PyTorch 模型無縫遷移到 Azure cloud 上。對于數(shù)據(jù)科學實驗，微軟提供了預配置的數(shù)據(jù)科學虛擬機(DSVM)，該虛擬機預安裝了 PyTorch。對于希望探索 PyTorch，但又不希望安裝軟件和配置本地環(huán)境的開發(fā)者，Azure Notebooks 提供了免費的云 Jupyter Notebooks，開發(fā)者可以直接試驗 PyTorch 教程和代碼。最后，Visual Studio Code 的 AI 擴展工具為 Azure ML 和 PyTorch APIs 提供了緊密的集成，它們可以簡化 PyTorch 代碼的開發(fā)與訓練。

此外除了軟件和云服務(wù)提供商，對于 ARM、IBM、Intel、NVIDIA 和高通等技術(shù)伙伴，F(xiàn)acebook 還會通過直接優(yōu)化、kernel 庫的集成、以及優(yōu)化編譯器和推理運行時等其他工具為 PyTorch 1.0 提供支持。這些額外的支持能確保 PyTorch 可以在數(shù)據(jù)中心和邊緣設(shè)備的各種硬件上正常運行，且模型也能在這些硬件上實現(xiàn)訓練和推斷的優(yōu)化。

為未來的 AI 開發(fā)者提供學習資源

除了加強 PyTorch 部署 AI 研究的能力，通過教育與課程方式推廣 PyTorch 也是 Facebook 打造深度學習框架的一大利器。

據(jù)介紹，目前 PyTorch 已經(jīng)通過在線視頻和大學課程為眾多的學生提供深度學習框架，很多教育提供方也都采用它作為教學框架。PyTorch 框架的易用性及與 Python 深度集成的特性令它非常容易實現(xiàn)各種深度學習概念，學生可以通過它快速理解和實驗深度模型。

此外，Udacity 正與 Facebook 合作，他們希望讓開發(fā)者能免費學習深度學習入門課程，這些課程完全使用 PyTorch 作為框架。Facebook 還將贊助 300 名成功完成該中級課程的學生繼續(xù)在 Udacity 中完成深度學習納米學位項目，該計劃已經(jīng)修改為在 PyTorch 1.0 上運行。

Fast.ai 同樣使用 PyTorch 框架，并提供免費的深度學習入門、高級和機器學習課程，F(xiàn)astai 是第一個宣布基于 PyTorch 1.0 的開源軟件庫。該軟件庫能提供高準確率和快速的深度學習模型，并只需要非常少量的代碼，這些都令深度學習對于入門者和有經(jīng)歷的開發(fā)者更加友好。

 

 

小結(jié)

從 2015 年谷歌開源 TensorFlow 開始，深度學習框架之爭越來越越激烈，全球多個看重 AI 研究與應(yīng)用的科技巨頭均在加大這方面的投入。從 2017 年年初發(fā)布以來，PyTorch 可謂是異軍突起，短短時間內(nèi)取得了一系列成果，成為了其中的明星框架。

Facebook 表示，PyTorch 1.0 是自推出以來最重要的版本，1.0 意味著框架版本已經(jīng)非常穩(wěn)定、成熟、有保證了。今天發(fā)布的 preview 版，其中 90% 的功能已經(jīng)能夠應(yīng)對業(yè)界的考驗。

「1.0 是讓 PyTorch 進入生產(chǎn)環(huán)境的第一步，開發(fā)者們還會在未來繼續(xù)推進它的發(fā)展�！笷acebook 研究工程師 Soumith Chintala 在發(fā)布會上表示，「PyTorch 1.0 的最終穩(wěn)定版會在 NIPS2018 大會之前發(fā)布�！�

預覽版安裝地址： https://pytorch.org/get-started/locally/

標簽： Google 代碼 谷歌 開發(fā)者 推廣 網(wǎng)絡(luò) 云服務(wù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。