準(zhǔn)確率至上已是過(guò)去式，這些趨勢(shì)在2020年的AI領(lǐng)域更受關(guān)注
2020-01-15 來(lái)源：raincent
AI 領(lǐng)域最杰出的頭腦如何總結(jié) 2019 年技術(shù)進(jìn)展，又如何預(yù)測(cè) 2020 年發(fā)展趨勢(shì)呢?本文介紹了 Soumith Chintala、Celeste Kidd、Jeff Dean 等人的觀點(diǎn)。
人工智能不是將要改變世界，而是正在改變世界。在新年以及新的十年開(kāi)啟之際，VentureBeat 采訪了人工智能領(lǐng)域最杰出的頭腦，來(lái)回顧人工智能在 2019 年的進(jìn)展，展望機(jī)器學(xué)習(xí)在 2020 年的前景。受訪者包括 PyTorch 之父 Soumith Chintala、加州大學(xué)教授 Celeste Kidd、谷歌 AI 負(fù)責(zé)人 Jeff Dean、英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。
其中部分人預(yù)測(cè)半監(jiān)督學(xué)習(xí)和神經(jīng)符號(hào)方法等子領(lǐng)域?qū)⒊霈F(xiàn)進(jìn)展，而幾乎所有受訪者一致認(rèn)同 2019 年基于 Transformer 的自然語(yǔ)言模型取得巨大進(jìn)步，也都認(rèn)為對(duì)人臉識(shí)別等爭(zhēng)議性技術(shù)的討論仍會(huì)持續(xù)。此外，他們還期望 AI 領(lǐng)域不再只以準(zhǔn)確率論輸贏。
PyTorch 之父 Soumith Chintala
在 2019 年秋季舉辦的 PyTorch 開(kāi)發(fā)者大會(huì)上，F(xiàn)acebook 發(fā)布了 PyTorch 1.3 版本，該版本支持量化和 TPU 支持。會(huì)上還發(fā)布了深度學(xué)習(xí)可解釋性工具 Captum 和 PyTorch Mobile。此外，還有機(jī)器人框架 PyRobot 和代碼共享神器 PyTorch Hub，鼓勵(lì)機(jī)器學(xué)習(xí)從業(yè)者擁抱可復(fù)現(xiàn)性。
在這次 PyTorch 開(kāi)發(fā)者大會(huì)上，Chintala 表示：2019 年機(jī)器學(xué)習(xí)領(lǐng)域幾乎沒(méi)有突破性進(jìn)展。
「我認(rèn)為，自 Transformer 之后，基本上沒(méi)有什么突破。2012 年 CNN 在 ImageNet 大賽上奪冠，迎來(lái)了高光時(shí)刻，2017 年是 Transformer。這是我的個(gè)人看法�！顾f(shuō)。
他認(rèn)為 DeepMind 的 AlphaGo 對(duì)強(qiáng)化學(xué)習(xí)的貢獻(xiàn)是突破性的，但其結(jié)果很難在現(xiàn)實(shí)世界的實(shí)際任務(wù)中實(shí)現(xiàn)。
Chintala 還認(rèn)為，PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架的演化改變了研究者探索新思路和做研究的方式。「這些框架使研究者的速度比之前快了一兩個(gè)數(shù)量級(jí)，從這個(gè)角度看，這是一項(xiàng)巨大突破�！�
2019 年，谷歌和 Facebook 的開(kāi)源框架都引入了量化，用于提升模型訓(xùn)練速度。Chintala 預(yù)測(cè)，2020 年 PyTorch 的 JIT 編譯器和神經(jīng)網(wǎng)絡(luò)硬件加速器(如 Glow)等工具的重要性和采用范圍將迎來(lái)「爆發(fā)」。
「從 PyTorch 和 TensorFlow 中，可以看到框架的融合趨勢(shì)。量化以及大量其他較低級(jí)功能出現(xiàn)的原因是，框架之爭(zhēng)的下一戰(zhàn)是編譯器——XLA(TensorFlow)、TVM(陳天奇團(tuán)隊(duì))、Glow(PyTorch)，大量創(chuàng)新即將出現(xiàn)。未來(lái)幾年，你們會(huì)看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何針對(duì)新硬件執(zhí)行自動(dòng)編譯�！�
和本文大多數(shù)受訪者一樣，Chintala 預(yù)測(cè) 2020 年 AI 社區(qū)將用更多度量指標(biāo)衡量 AI 模型的性能，而不僅僅是準(zhǔn)確率。社區(qū)將注意力轉(zhuǎn)向其他因素，如創(chuàng)建模型所需的電量、如何向人類解釋輸出結(jié)果，以及如何使 AI 更好地反映人類想要構(gòu)建的社會(huì)。
「回望過(guò)去五六年，我們只關(guān)注準(zhǔn)確率和原始數(shù)據(jù)，例如『英偉達(dá)的模型更準(zhǔn)確，還是 Facebook 的模型更準(zhǔn)確?』我認(rèn)為，2020 年我們將(以更復(fù)雜的方式)思考，如果模型不具備良好的可解釋性(或滿足其他標(biāo)準(zhǔn))，那就算準(zhǔn)確率高出 3% 又怎樣呢?」Chintala 表示。
加州大學(xué)教授 Celeste Kidd
Kidd 表示：「人類嬰兒不需要標(biāo)注數(shù)據(jù)集，但他們也能學(xué)習(xí)得很好。這其中的關(guān)鍵在于我們需要理解這其中的原理�！�
她認(rèn)為，當(dāng)你對(duì)嬰兒的行為綜合分析后，你確實(shí)會(huì)看到他們理解一些事物的證據(jù)，但是他們并非完美的學(xué)習(xí)者�！笅雰耗茏詣�(dòng)學(xué)習(xí)很多東西」這種說(shuō)法是對(duì)嬰兒能力的過(guò)度美化。
「嬰兒很棒，但他們也會(huì)出很多錯(cuò)。我看到人們隨意地進(jìn)行對(duì)比，將嬰兒的行為理想化了。我認(rèn)為人們將會(huì)更加重視如何將當(dāng)前的研究和未來(lái)的研究目標(biāo)之間的聯(lián)系」
在 AI 領(lǐng)域，「黑箱」一詞已誕生多年，該詞常用于批評(píng)神經(jīng)網(wǎng)絡(luò)缺乏可解釋性。但 Kidd 認(rèn)為，在 2020 年，可能不會(huì)再有這種對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)了。
「黑箱這個(gè)觀點(diǎn)是虛假的……大腦也是黑箱，而我們?cè)诹私獯竽X工作原理方面已經(jīng)獲得巨大進(jìn)展�！�
在為「黑箱」理論祛魅的過(guò)程中，Kidd 閱讀了 MIT-IBM Watson AI 實(shí)驗(yàn)室執(zhí)行主任 Aude Oliva 的研究。
「我們當(dāng)時(shí)討論過(guò)這件事。我之前認(rèn)為系統(tǒng)是黑箱，她批評(píng)了我，說(shuō)當(dāng)然不是黑箱。你當(dāng)然可以將它分割開(kāi)來(lái)，查看其工作方式，并運(yùn)行實(shí)驗(yàn)，就像我們?cè)诹私庹J(rèn)知過(guò)程時(shí)所做的實(shí)驗(yàn)?zāi)菢印！?/p>
上個(gè)月，Kidd 在 NeurIPS 2019 開(kāi)幕式上發(fā)表主旨演講。她的演講主要涉及人類大腦如何堅(jiān)持己見(jiàn)、注意力系統(tǒng)以及貝葉斯統(tǒng)計(jì)。
她注意到了內(nèi)容推薦系統(tǒng)如何操縱人類的想法。追求讓用戶最大程度參與的系統(tǒng)對(duì)人類如何形成想法和觀點(diǎn)有著重大影響。
2020 年，她希望看到更多人意識(shí)到技術(shù)工具和技術(shù)決策對(duì)現(xiàn)實(shí)生活的影響，拒絕「工具創(chuàng)造者不對(duì)工具使用者的行為和后果負(fù)責(zé)」的觀點(diǎn)。
「我聽(tīng)到太多人用『我不是衛(wèi)道士』這樣的說(shuō)辭自我辯護(hù)。我認(rèn)為必須有更多人意識(shí)到這是不誠(chéng)實(shí)的�！�
「作為社會(huì)一員，尤其是作為研發(fā)這些工具的人，我們需要直接正視隨之而來(lái)的責(zé)任。」
谷歌 AI 負(fù)責(zé)人 Jeff Dean
Jeff Dean 在 NeurIPS 2019 會(huì)議上發(fā)表了兩場(chǎng)演講，這兩場(chǎng)演講分別關(guān)于使用機(jī)器學(xué)習(xí)設(shè)計(jì) ASIC 半導(dǎo)體(ML for Systems)和 AI 社區(qū)幫助解決氣候變化的方法(Tackling Climate Change with ML)。他認(rèn)為后者是這個(gè)時(shí)代最重要的問(wèn)題之一。在關(guān)于氣候變化的演講里，Dean 討論了 AI 怎樣能夠成為零碳產(chǎn)業(yè)的方法，以及使用 AI 幫助改變?nèi)祟惖男袨椤?/p>
談到對(duì) 2020 年的期待，Dean 表示，他希望看到多模型學(xué)習(xí)領(lǐng)域的進(jìn)展。在這一領(lǐng)域中，多模態(tài)學(xué)習(xí)依賴多媒體數(shù)據(jù)進(jìn)行訓(xùn)練，而多任務(wù)學(xué)習(xí)則讓網(wǎng)絡(luò)通過(guò)訓(xùn)練一次就可以完成多項(xiàng)任務(wù)。
毫無(wú)疑問(wèn)，2019 年最顯著的機(jī)器學(xué)習(xí)趨勢(shì)之一是：基于 Transformer 的自然語(yǔ)言模型的發(fā)展和壯大(上文中 Chintala 也認(rèn)為這是 AI 領(lǐng)域近年來(lái)的最大突破之一)。在 2018 年，谷歌開(kāi)源了基于 Transformer 的模型 BERT。而 2019 年大量頂級(jí)性能的模型(如谷歌的 XLNet、微軟的 MT-DNN、Facebook 的 RoBERTa)都基于 Transformer 構(gòu)建。而且，谷歌發(fā)言人還告訴 VentureBeat，XLNet 2 將于本月底發(fā)布。
Jeff Dean 在談到 Transformer 進(jìn)展時(shí)表示，「基于 Transformer 實(shí)際獲得的機(jī)器學(xué)習(xí)模型可以執(zhí)行比之前更復(fù)雜的 NLP 任務(wù)，從這個(gè)角度看，這個(gè)領(lǐng)域的研究碩果累累。」但是他補(bǔ)充道，該領(lǐng)域仍有發(fā)展空間。「我們還是希望能夠使模型更多地理解語(yǔ)境�，F(xiàn)在 BERT 等模型可以很好地處理數(shù)百個(gè)單詞的語(yǔ)境，但如果語(yǔ)境包含 10000 個(gè)單詞就不行了。這是一個(gè)有趣的研究方向。」
Dean 表示他希望社區(qū)更少去強(qiáng)調(diào)微小的 SOTA 進(jìn)展，而是多關(guān)注如何創(chuàng)建更穩(wěn)健的模型。
谷歌 AI 將推進(jìn)新計(jì)劃，如 2019 年 11 月開(kāi)啟的內(nèi)部項(xiàng)目「Everyday Robot」，該項(xiàng)目旨在創(chuàng)造在家庭和工作環(huán)境中完成常見(jiàn)任務(wù)的機(jī)器人。
英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar
2019 年，在英偉達(dá)負(fù)責(zé)機(jī)器學(xué)習(xí)工作的 Anandkumar 的重點(diǎn)之一是強(qiáng)化學(xué)習(xí)模擬框架。目前這樣的框架越來(lái)越流行，也更加成熟。
2019 年，我們看到英偉達(dá)開(kāi)發(fā)了自動(dòng)駕駛平臺(tái) Drive 和機(jī)器人模擬器 Isaac，以及基于模擬生成合成數(shù)據(jù)的模型和 GAN。
例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出風(fēng)頭。而在上個(gè)月，英偉達(dá)還發(fā)布了 StyleGAN2。
這其中使用的便是 GAN 這一神經(jīng)網(wǎng)絡(luò)。這是一項(xiàng)能「混淆現(xiàn)實(shí)和虛擬界限」的技術(shù)，Anandkumar 認(rèn)為該技術(shù)能夠幫助解決 AI 社區(qū)面臨的難題，如抓握式機(jī)器臂和自動(dòng)駕駛。
Anandkumar 預(yù)測(cè)，2020 年迭代算法(iterative algorithm)、自監(jiān)督和自訓(xùn)練方法將有新的進(jìn)展。所謂自訓(xùn)練，指的是模型使用無(wú)監(jiān)督數(shù)據(jù)，通過(guò)自我訓(xùn)練得到改進(jìn)。
「我認(rèn)為迭代算法就是未來(lái)，因?yàn)槿绻阒蛔鲆粋�(gè)前饋網(wǎng)絡(luò)，它的穩(wěn)健性可能是個(gè)問(wèn)題。而如果你嘗試進(jìn)行多次迭代——基于數(shù)據(jù)類型或準(zhǔn)確率要求來(lái)調(diào)試迭代，那么達(dá)到目標(biāo)的可能性就會(huì)大大增加�！�
Anandkumar 認(rèn)為，2020 年 AI 社區(qū)將面臨多項(xiàng)挑戰(zhàn)，比如說(shuō)，AI 社區(qū)需要和領(lǐng)域?qū)＜液献鳛樘囟ㄐ袠I(yè)創(chuàng)建模型。政策制定者、個(gè)人和 AI 社區(qū)還需要處理特征表示上的問(wèn)題，并確保模型訓(xùn)練所用數(shù)據(jù)集能夠代表不同群體。
「我認(rèn)為人臉識(shí)別存在的問(wèn)題是容易被發(fā)現(xiàn)的，但是，在很多領(lǐng)域中，人們還沒(méi)有意識(shí)到數(shù)據(jù)的使用會(huì)涉及隱私問(wèn)題�！笰nandkumar 表示，人臉識(shí)別得到的關(guān)注最多，這是因?yàn)槿藗兒苋菀桌斫馊四樧R(shí)別如何損害個(gè)人隱私，而 2020 年 AI 社區(qū)將面臨更多倫理問(wèn)題。
「我們需要更加審慎地審查數(shù)據(jù)收集和使用過(guò)程。歐洲正在這樣做，但在美國(guó)更應(yīng)該如此。出于正當(dāng)理由，美國(guó)國(guó)家運(yùn)輸安全委員會(huì)(NTSB)和聯(lián)邦公共交通管理局(FTA)等組織將更多地執(zhí)行此類操作�！�
Anandkumar』s 認(rèn)為，2019 年的一大驚喜是文本生成模型的突飛猛進(jìn)。
「2019 是語(yǔ)言模型之年，不是嗎?現(xiàn)在，我們第一次得到了更連貫的文本生成結(jié)果，且其長(zhǎng)度相當(dāng)于整個(gè)段落，這在之前絕不可能，這非常棒�！�
2019 年 8 月，英偉達(dá)發(fā)布了 Megatron 自然語(yǔ)言模型。該模型具備 80 億參數(shù)，被認(rèn)為是全球最大的 Transformer 模型。Anandkumar 表示，她被人們開(kāi)始按模型是否具備人格或個(gè)性進(jìn)行分類的方式震驚到了。她期待看到更加適用于特定行業(yè)的文本模型。
「我們?nèi)匀粵](méi)有到達(dá)交互式對(duì)話生成階段。在這個(gè)階段中，我們可以追蹤和進(jìn)行自然對(duì)話。我認(rèn)為 2020 年這一方向會(huì)有更多嘗試�！�
開(kāi)發(fā)控制文本生成的框架比開(kāi)發(fā)圖像識(shí)別框架難度更大。而且文本生成模型會(huì)遇到為神經(jīng)模型定義事實(shí)等方面的挑戰(zhàn)。
IBM 研究主管 Dario Gil
他預(yù)測(cè)，使用較低精度架構(gòu)更高效地訓(xùn)練模型方面會(huì)有持續(xù)進(jìn)展。開(kāi)發(fā)更高效的 AI 模型是 NeurIPS 的重點(diǎn)，IBM Research 在會(huì)上介紹了使用 8-bit 精度模型的深度學(xué)習(xí)技術(shù)。
「總體上，使用現(xiàn)有硬件和 GPU 架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是低效的。因此，從根本上重新思考非常重要。我們已經(jīng)提升了 AI 的計(jì)算效率，我們還將做得更多�！�
Gil 引用研究表示，機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個(gè)半月翻一番，比摩爾定律預(yù)測(cè)的要快得多。
Gil 對(duì) AI 加速推動(dòng)科學(xué)新發(fā)現(xiàn)感到很振奮，但他表示，IBM 研究院的研究重點(diǎn)將是神經(jīng)符號(hào)方法。
2020 年，Gil 希望 AI 從業(yè)者和研究者能夠關(guān)注準(zhǔn)確率以外的度量指標(biāo)，考慮在生產(chǎn)環(huán)境中部署模型的價(jià)值。AI 領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是準(zhǔn)確率至上，這將是 AI 得到繼續(xù)采用的關(guān)鍵。
「社區(qū)中有些人可能會(huì)說(shuō)『不要擔(dān)心，只需要提高準(zhǔn)確率。人們會(huì)習(xí)慣黑箱這件事的。』，或者他們認(rèn)為人類有時(shí)做決策時(shí)也不給出解釋啊。我認(rèn)為將社區(qū)的智力聚焦于比準(zhǔn)確率更好的事情是非常非常重要的。在任務(wù)關(guān)鍵型應(yīng)用中，AI 系統(tǒng)不能是黑箱。」
AI 只有少數(shù)機(jī)器學(xué)習(xí)奇才能做，具備數(shù)據(jù)科學(xué)和軟件工程技能的更多人只用使用它就行了。Gil 認(rèn)為這種認(rèn)知應(yīng)該摒棄。
「如果我們讓 AI 保持神秘，只有該領(lǐng)域的 PhD 才能研究，這對(duì) AI 的應(yīng)用沒(méi)有好處。」
2020 年，Gil 對(duì)神經(jīng)符號(hào) AI 尤其感興趣。IBM 將尋找神經(jīng)符號(hào)方法為概率編程(讓 AI 學(xué)習(xí)如何編程)和能夠分享決策背后原因的模型等賦能。
「采用神經(jīng)符號(hào)方法，能夠?qū)W(xué)習(xí)和推理結(jié)合起來(lái)，即符號(hào)維度嵌入到學(xué)習(xí)程序中。通過(guò)這種方式，我們已經(jīng)證明可使用所需數(shù)據(jù)的一部分進(jìn)行學(xué)習(xí)。因?yàn)槟銓W(xué)習(xí)了程序，你的最終輸出是可解釋的，因?yàn)橛辛诉@些可解釋的輸出，系統(tǒng)就更加可信�！�
公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇問(wèn)題仍是關(guān)注的重點(diǎn)。同樣，和生物識(shí)別技術(shù)相關(guān)的領(lǐng)域也是如此。人臉識(shí)別獲得了巨大關(guān)注，這只是個(gè)開(kāi)始。隨著語(yǔ)音數(shù)據(jù)的敏感度上升，其他形式的生物識(shí)別特征也會(huì)日益受到關(guān)注。
「和人類身份和生物識(shí)別特征有關(guān)的工作，以及使用 AI 分析這些信息依然是研究中的核心問(wèn)題�！�
除了 MIT-IBM Watson 實(shí)驗(yàn)室的主要項(xiàng)目——神經(jīng)符號(hào)和常識(shí)推理以外，Gil 表示 2020 年 IBM 研究院還將探索用于 AI 的量子計(jì)算，以及較低精度架構(gòu)以外的 AI 模擬硬件。
總結(jié)
機(jī)器學(xué)習(xí)將繼續(xù)塑造商業(yè)和社會(huì)，本文采訪的這些研究者和專家發(fā)現(xiàn)了如下趨勢(shì)：
神經(jīng)語(yǔ)言模型的進(jìn)展是 2019 年的重大事件，Transformer 是其背后的巨大助力。2020 年會(huì)出現(xiàn)更多 BERT 變體和基于 Transformer 的模型。
AI 行業(yè)應(yīng)該尋找準(zhǔn)確率以外的模型輸出度量指標(biāo)。
2020 年，半監(jiān)督學(xué)習(xí)、神經(jīng)符號(hào)等方法和多任務(wù)學(xué)習(xí)、多模態(tài)學(xué)習(xí)等子領(lǐng)域可能出現(xiàn)進(jìn)展。
和生物識(shí)別數(shù)據(jù)(如語(yǔ)音記錄)相關(guān)的倫理挑戰(zhàn)可能繼續(xù)成為爭(zhēng)議焦點(diǎn)。
編譯器和量化等方法可能在 PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架中更加流行，以作為優(yōu)化模型性能的方式。
參考鏈接：
https://thenextweb.com/podium/2020/01/02/ai-creativity-will-bloom-in-2020-all-thanks-to-true-web-machine-learning/
標(biāo)簽： 人工智能
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
