來源：機(jī)器之心

終于，我們開啟了 2020 年的進(jìn)度條，在新的一年里  AI  領(lǐng)域?qū)��?huì)有怎樣的發(fā)展?我們需要聽聽各位學(xué)界大牛的預(yù)測。

Coursera 聯(lián)合創(chuàng)始人、斯坦福大學(xué)副教授吳恩達(dá)創(chuàng)辦的 deeplearning.ai 剛剛發(fā)布了最新一期文章，其中不僅有周志華、Yann LeCun 等人對于新年 AI 發(fā)展趨勢的預(yù)測，還有著名學(xué)者們對于整個(gè)研究社區(qū)的期許。

新年快樂!

每個(gè)元旦假期，我都會(huì)圍繞一個(gè)新主題展開學(xué)習(xí)。今年我和家人一起度過了這幾天，也看了很多書。

在十年以前，我的年度學(xué)習(xí)目標(biāo)還是教學(xué)方法——我仍然記得自己拖著沉重的書箱去機(jī)場——這些努力在 Coursera 成立初期起到了非常重要的作用。去年，在 Nova(譯注：吳恩達(dá)的女兒)出生之前，我看了很多有關(guān)育兒保健的書。

今年我在關(guān)注表觀遺傳學(xué)的最新進(jìn)展。

 

 

對抗年齡增長的科學(xué)(有時(shí)候是偽科學(xué))。

我還拜訪了自己 101 歲的祖父，告訴他我正在讀書，他和我說保持好奇心是長壽的關(guān)鍵。

如果他是對的，我覺得很多讀者們都可以開心地活到 101 歲!

祝你有一個(gè)完美的 2020 年，用好奇、學(xué)習(xí)和愛填滿它。

不斷學(xué)習(xí)吧!

Andrew

對于 2020 年的期望

我們進(jìn)入了前程似錦的新十年，機(jī)器學(xué)習(xí)已經(jīng)在傳統(tǒng)工業(yè)和制造業(yè)中展現(xiàn)了自己的實(shí)力。不過我們還面臨著一些重要問題，比如如何在保護(hù)隱私的情況下收集數(shù)據(jù)，避免草率的系統(tǒng)設(shè)計(jì)，在到達(dá)現(xiàn)有技術(shù)的極限之前找到另一個(gè)突破口。

在本文中，Deeplearning.ai 邀請了很多 AI 領(lǐng)域里最著名的學(xué)者，讓我們看看大牛們對于新年的展望：

Anima Anandkumar：模擬器的力量

 

 

英偉達(dá)機(jī)器學(xué)習(xí)研究部門主管、加州理工學(xué)院計(jì)算機(jī)科學(xué)教授 Anima Anandkumar。

深度學(xué)習(xí)在有標(biāo)記數(shù)據(jù)的情況下取得了很大成功�，F(xiàn)在我們需要探索其他的學(xué)習(xí)方法了：訓(xùn)練未標(biāo)注的數(shù)據(jù)，終身學(xué)習(xí)，特別是讓模擬環(huán)境中學(xué)到的知識(shí)遷移到現(xiàn)實(shí)世界中來。在 2020 年，我希望能夠看到更多這方面的研究。

高度仿真的模擬環(huán)境可以讓我們更有效率地訓(xùn)練和測試算法，構(gòu)建更加魯棒、更有適應(yīng)型的網(wǎng)絡(luò)。大多數(shù)情況下，在虛擬環(huán)境中獲得的訓(xùn)練要比在真實(shí)世界中多出很多倍。我們可以在模擬環(huán)境中重現(xiàn)現(xiàn)實(shí)世界中很少出現(xiàn)的危險(xiǎn)情況。

例如我們開車時(shí)，事故極少發(fā)生。在這樣的情況下即使行駛數(shù)萬英里也很難讓 AI 有所進(jìn)步。如果你只在真實(shí)世界數(shù)據(jù)中訓(xùn)練自動(dòng)駕駛汽車，它們就無法學(xué)會(huì)如何應(yīng)對各種事故。但在模擬器中，我們可以生成各種變化，為模型找到現(xiàn)實(shí)世界中各種可能性的數(shù)據(jù)分布，這樣才能讓機(jī)器更加安全。

最近，模擬器已經(jīng)幫助我們在強(qiáng)化學(xué)習(xí)中獲得了驚艷的效果，這是非常耗費(fèi)數(shù)據(jù)的。但如果研究人員只有少量真實(shí)世界的數(shù)據(jù)，模擬在監(jiān)督學(xué)習(xí)中也非常有用。比如地震是罕見且難以測量的自然現(xiàn)象。加州理工學(xué)院地震實(shí)驗(yàn)室的研究人員使用一個(gè)簡單的物理模型來生成代表這些事件的綜合數(shù)據(jù)。通過訓(xùn)練合成數(shù)據(jù)，深度學(xué)習(xí)模型達(dá)到了在真實(shí)世界的地震中準(zhǔn)確預(yù)測地震的 SOTA 水平。

在英偉達(dá)，我們一直致力于開發(fā)強(qiáng)大的模擬器平臺(tái)，如面向自動(dòng)駕駛汽車的 Drive Constellation，面向機(jī)器人的 Isaac。這些開放、可擴(kuò)展的環(huán)境能夠使模型在具有真實(shí)世界物理學(xué)設(shè)定的環(huán)境中進(jìn)行訓(xùn)練。

我希望能有更多的 AI 科學(xué)家認(rèn)識(shí)到模擬環(huán)境以及監(jiān)督學(xué)習(xí)之外方法的重要性。這將會(huì)讓 2020 年成為 AI 獲得重要進(jìn)展的一年。

Oren Etzioni：更高質(zhì)量的工具

 

 

華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授、Allen 實(shí)驗(yàn)室 CEOOren Etzioni。

我希望在 2020 年，AI 社區(qū)能夠真正地讓弱勢人群從新技術(shù)中受益。

我們花費(fèi)了很多時(shí)間討論算法的公平和透明，這是必不可少的工作。但這是開發(fā)具有切實(shí)影響的軟件工具的必經(jīng)之路。AI 系統(tǒng)必須要有提升人民生活水平以及解決一些社會(huì)重要挑戰(zhàn)的能力。

想象一下坐著輪椅的人使用手機(jī)導(dǎo)航，卻看到面前是樓梯的情況。如果用戶無法自定義導(dǎo)航軟件，即使是最先進(jìn)的導(dǎo)航算法也會(huì)遇到嚴(yán)重挑戰(zhàn)。

現(xiàn)有技術(shù)可以為行動(dòng)不便的人提供支持，比如 AccessMap，這是華盛頓大學(xué) Taskar 中心的一個(gè)項(xiàng)目。但我們其實(shí)還可以做到更多。值得慶幸的是，我們生活在一個(gè)大多數(shù)內(nèi)容都「觸手可及」的時(shí)代。

無障礙化、教育、無家可歸、交通堵塞——AI 可以在各個(gè)方面顯著提高人類的生活質(zhì)量。到目前為止，我們還只是涉及表面。在剛剛到來的一年里，讓我們深入探討這些問題吧。

Chelsea Finn：構(gòu)建更具泛化能力的機(jī)器人

 

 

斯坦福大學(xué)計(jì)算機(jī)科學(xué)和工程系助理教授 Chelsea Finn。

現(xiàn)在，AI 社區(qū)過多地關(guān)注一些浮華的研究成果，如贏得圍棋等游戲比賽的智能體。就復(fù)雜度而言，這類研究工作令人印象深刻。但很容易忽略了智能應(yīng)用的另一重要評(píng)估軸：泛化性，即處理各種任務(wù)或者在各種情景中運(yùn)行的能力。所以在 2020 年，我希望人們可以構(gòu)建更具泛化能力的模型。

在監(jiān)督學(xué)習(xí)領(lǐng)域，在包含 1400 萬圖像的 ImageNet 數(shù)據(jù)集上訓(xùn)練圖像識(shí)別器可以實(shí)現(xiàn)一定程度的泛化能力。在強(qiáng)化學(xué)習(xí)領(lǐng)域，模型通過與虛擬環(huán)境交互以及收集數(shù)據(jù)來學(xué)習(xí)。為了構(gòu)建一定水平上的通用技能，人們習(xí)慣于將模型在 ImageNet 數(shù)據(jù)集上訓(xùn)練，所以需要為每個(gè)新模型收集 ImageNet 規(guī)模的數(shù)據(jù)集，但顯然這是不現(xiàn)實(shí)的。

所以，如果我們想要通過強(qiáng)化學(xué)習(xí)訓(xùn)練的系統(tǒng)具有泛化能力，則需要設(shè)計(jì)能夠從離線數(shù)據(jù)集中學(xué)習(xí)的智能體。此外，就像 ImageNet 數(shù)據(jù)集圖像數(shù)量從最初的 100 萬增加到 1400 萬一樣，現(xiàn)有的這些數(shù)據(jù)集也需要隨時(shí)間推移而擴(kuò)展，從而適應(yīng)現(xiàn)實(shí)世界的變化。

這種情況正開始發(fā)生。例如，機(jī)器人可以通過學(xué)習(xí)包含自身交互行為的數(shù)據(jù)集以及人們操控機(jī)械臂的演示，來想出如何使用新的物體作為工具。我們也可以做到充分利用來自其他機(jī)構(gòu)的數(shù)據(jù)。

因此，在 2020 年，我希望強(qiáng)化學(xué)習(xí)中的泛化性能能夠迎來重大進(jìn)展。如果能夠解決這些挑戰(zhàn)，機(jī)器人將可以在現(xiàn)實(shí)世界中更加地智能化，而不只是在實(shí)驗(yàn)中做一些看似智能的事情。

Yann LeCun：從觀察中學(xué)習(xí)

 

 

紐約大學(xué)計(jì)算機(jī)科學(xué)教授、Facebook 副總裁兼 AI 首席科學(xué)家 Yann LeCun。

通過 20 個(gè)小時(shí)的練習(xí)，很多人就能夠?qū)W會(huì)安全地駕駛汽車，而對于現(xiàn)在的模仿學(xué)習(xí)算法來說卻需要幾十萬個(gè)小時(shí)，而強(qiáng)化學(xué)習(xí)算法要花費(fèi)數(shù)百萬個(gè)小時(shí)。這是為什么呢?我們顯然忽略了一些重要的東西。

人類可以高效地學(xué)習(xí)，因?yàn)槲覀兊念^腦中已經(jīng)搭建起了關(guān)于世界的模型。嬰兒時(shí)代的我們幾乎無法與世界互動(dòng)，但在生命最初的幾個(gè)月中，我們吸收了大量的背景知識(shí)。顯然，我們大腦的很大一部分是用來了解這個(gè)世界的構(gòu)造，然后預(yù)測那些將在未來發(fā)生、我們可能無法直接觀察到的事情。

這表明，AI 的發(fā)展方向是自監(jiān)督學(xué)習(xí)。它類似于監(jiān)督學(xué)習(xí)，但不會(huì)訓(xùn)練系統(tǒng)去將數(shù)據(jù)示例映射到分類。比如，我們遮蓋了視頻的某些幀然后訓(xùn)練機(jī)器去填補(bǔ)那些丟失掉的片段。

近來，這種方法在自然語言理解方面取得了成果，比如像 BERT、RoBERTa、XLNet 和 XLM 上都是用自監(jiān)督的方式進(jìn)行訓(xùn)練，用來預(yù)測文本中缺失的單詞部分。諸如此類的系統(tǒng)在主要的自然語言基準(zhǔn)中都保持著訓(xùn)練記錄。

2020 年，我希望這樣的變革也會(huì)發(fā)生在視頻和圖像領(lǐng)域，自監(jiān)督方法可以用來學(xué)習(xí)視頻和圖像的特征。但目前看來還存在一些挑戰(zhàn)，其中一項(xiàng)嚴(yán)峻的挑戰(zhàn)是如何應(yīng)對不確定性，像 BERT 這樣的模型無法判斷句子中丟失的單詞是貓還是狗，但是它們可以生成一個(gè)概率分布向量。

在視頻或者圖像方面，我們還沒有一個(gè)好的模型，但近期的研究預(yù)示著我們已經(jīng)接近成功了。在訓(xùn)練樣本很少的視頻方面，想要實(shí)現(xiàn)很好的預(yù)測，這之前壓根是不可能的。所以 2020 年將會(huì)成為非常激動(dòng)人心的一年。

李開復(fù)：AI 無處不在

 

 

創(chuàng)新工場董事長兼 CEO 李開復(fù)。

眼下，AI 已經(jīng)從「發(fā)現(xiàn)」階段過渡到了「落地」階段。在我們所投資的中國的公司和團(tuán)隊(duì)中，可以看到 AI 和自動(dòng)化技術(shù)正在銀行、金融、交通、物流、超市、餐廳、倉庫、工廠、學(xué)校和藥品等各個(gè)領(lǐng)域開展廣泛的應(yīng)用。

但從整體經(jīng)濟(jì)的層面去觀察，只有一小部分企業(yè)開始應(yīng)用 AI 技術(shù)，所以還存在很大的增長空間。

我相信 AI 會(huì)像電一樣，在技術(shù)進(jìn)步的歷史上留下濃墨重彩的一筆。在接下來的十年或者二十年，AI 會(huì)將滲透到個(gè)人生活和企業(yè)生產(chǎn)中，提供更高效和更智能的體驗(yàn)。如今，正是企業(yè)充分擁抱 AI 技術(shù)并推動(dòng)社會(huì)前進(jìn)的時(shí)候。

我個(gè)人對健康和教育領(lǐng)域的 AI 技術(shù)應(yīng)用非常感興趣，這兩個(gè)領(lǐng)域已經(jīng)準(zhǔn)備好接受 AI 技術(shù)的洗禮。

我希望在 2020 年之后，更多的企業(yè)能夠充分地應(yīng)用 AI 技術(shù)。

David Patterson：更快的訓(xùn)練和推理速度

 

 

加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授，圖靈獎(jiǎng)得主 David Patterson。

在 AI 硬件領(lǐng)域投入的數(shù)十億美元將在 2020 年初見成效。

2017 年，谷歌因 TPU 研發(fā)投入了巨額成本。在過去的一年中，來自阿里巴巴、Cerebras、Graphcore、Habana 以及英特爾的 AI 處理器都處于籌備階段。這些新型芯片會(huì)慢慢走進(jìn)研究實(shí)驗(yàn)室和數(shù)據(jù)中心。我希望整個(gè) AI 行業(yè)能夠歡迎這其中的表現(xiàn)優(yōu)異者，推動(dòng)該領(lǐng)域朝著更好的模型和更有價(jià)值的應(yīng)用方向發(fā)展。

機(jī)器學(xué)習(xí)工程師如何判斷新的代替方案是否比傳統(tǒng) CPU+GPU 方案具備更強(qiáng)的性能呢?

計(jì)算機(jī)架構(gòu)是根據(jù)曲線而不是絕對比例進(jìn)行分級(jí)的。為了適應(yīng)不同計(jì)算機(jī)的尺寸，我們通過價(jià)格、功率和芯片數(shù)量實(shí)現(xiàn)性能的歸一化。參賽者選擇一組具有代表性的程序作為基準(zhǔn)，相比于其中的某個(gè)項(xiàng)目，眾多項(xiàng)目的平均分?jǐn)?shù)可能更具代表性。

MLPerf 是一個(gè)最新的機(jī)器學(xué)習(xí)基準(zhǔn)，由來自 50 多家公司和 9 所大學(xué)的代表聯(lián)合創(chuàng)建。它包括用于測試推理和訓(xùn)練的程序、數(shù)據(jù)集以及像精確度目標(biāo)和超參數(shù)值一些重要的細(xì)節(jié)。這個(gè)基準(zhǔn)每三個(gè)月會(huì)更新一版。

Richard Socher：自動(dòng)摘要生成將迎來大發(fā)展

 

 

Salesforce 首席科學(xué)家 Richard Socher。

在網(wǎng)絡(luò)時(shí)代，人們只要在搜索框里輸入幾個(gè)字，即可以找到自己想要的人類知識(shí)。但是，不同的人會(huì)有不同的觀點(diǎn)和看法，也會(huì)出現(xiàn)不一樣的事實(shí)，對它們的管理依然面臨著挑戰(zhàn)。人們很難從冗長的文件中快速找出關(guān)鍵信息，并且也很難確定這些信息是否正確。

自動(dòng)摘要生成對解決這些問題能夠提供很大幫助，但卻是自然語言處理領(lǐng)域最難解決的任務(wù)之一。所以 2020 年，自動(dòng)摘要生成將迎來重要的進(jìn)展，進(jìn)而改變?nèi)藗兿�費(fèi)信息的方式。

我們正在努力解決這些問題。舉例而言，研究者利用 ROUGE 分?jǐn)?shù)來評(píng)估自動(dòng)摘要生成的效果，并發(fā)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的摘要生成器雖然出現(xiàn)錯(cuò)誤，但 ROUGE 分?jǐn)?shù)依然很高。此外，我們推出了一個(gè)模型，它可以容易地檢查源文件和摘要之間的事實(shí)一致性。我們還提出了一個(gè)指標(biāo)用以評(píng)估摘要生成器生成的摘要是否具有事實(shí)一致性。

所以這些研究令我堅(jiān)信在 2020 年，自動(dòng)摘要生成以及其他自然語言處理領(lǐng)域會(huì)迎來巨大的發(fā)展機(jī)遇。此外，這些期望發(fā)生的進(jìn)展不僅可以幫助人們應(yīng)對泛濫的新信息，而且可以促使 AI 創(chuàng)造一個(gè)更美好的世界。

宋曉東(Dawn Song)：建立可靠的數(shù)據(jù)經(jīng)濟(jì)

 

 

2019 ACM Fellow、UC 伯克利計(jì)算機(jī)系教授宋曉東(Dawn Song)。

眾所周知，數(shù)據(jù)集對 AI 和機(jī)器學(xué)習(xí)而言至關(guān)重要，它們也成為了經(jīng)濟(jì)發(fā)展的主要驅(qū)動(dòng)力。敏感數(shù)據(jù)的收集正快速增長，覆蓋了人們生活的方方面面。但就目前的數(shù)據(jù)形式而言，數(shù)據(jù)收集將個(gè)人和企業(yè)置于風(fēng)險(xiǎn)之中。因此，我希望 2020 年人們可以構(gòu)筑起可靠的數(shù)據(jù)經(jīng)濟(jì)的根基。

當(dāng)今時(shí)代，用戶幾乎不清楚如何使用和控制生成的數(shù)據(jù)，人們可以分享和販賣各種各樣的數(shù)據(jù)。這些行為往往侵犯個(gè)人隱私，甚至?xí)�危及國家安全。隨著人們越來越意識(shí)到這些問題，他們對自己使用的數(shù)據(jù)服務(wù)漸漸失去信任。與此同時(shí)，企業(yè)和研究者在利用數(shù)據(jù)的過程中也面臨大量的挑戰(zhàn)，如大規(guī)模的數(shù)據(jù)違規(guī)使用、各種數(shù)據(jù)保護(hù)和消費(fèi)者隱私法規(guī)的制定和實(shí)施以及數(shù)據(jù)孤島等。

所以，若想建立可靠的數(shù)據(jù)經(jīng)濟(jì)，則需要開發(fā)新技術(shù)、新規(guī)則和商業(yè)模式。所有這些的宗旨是通過安全計(jì)算、審核技能和機(jī)器學(xué)習(xí)來為數(shù)據(jù)擁有者(個(gè)人和企業(yè))提供可靠的數(shù)據(jù)保護(hù)和管控。但是，機(jī)器學(xué)習(xí)領(lǐng)域依然面臨更大的挑戰(zhàn)。所以在 2020 年，我們應(yīng)該繼續(xù)深耕隱私數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)，構(gòu)建可擴(kuò)展的系統(tǒng)，從而利用大型異構(gòu)數(shù)據(jù)集進(jìn)行實(shí)際部署。

聯(lián)邦學(xué)習(xí)的進(jìn)一步研究和部署對某些用例而言也非常重要。此外，有限和噪聲數(shù)據(jù)中魯棒性學(xué)習(xí)的進(jìn)展也有助于在不侵犯隱私的前提下實(shí)現(xiàn)機(jī)器學(xué)習(xí)用例的長尾效應(yīng)。最后，我希望技術(shù)人員、企業(yè)家、監(jiān)管者和 AI 社區(qū)可以同心協(xié)力，為構(gòu)建真正可靠的數(shù)據(jù)經(jīng)濟(jì)做出各自的貢獻(xiàn)。

周志華：新方法、明確的指導(dǎo)方針

 

 

南京大學(xué)計(jì)算機(jī)科學(xué)教授、人工智能學(xué)院院長、ACM Fellow 周志華。

對于 2020 年，南京大學(xué)計(jì)算機(jī)科學(xué)和 AI 教授周志華寄予以下三個(gè)期望：

其一，希望可以出現(xiàn)超越深度神經(jīng)網(wǎng)絡(luò)的高級(jí)機(jī)器學(xué)習(xí)方法。大量研究者、工程師和從業(yè)者已經(jīng)對神經(jīng)網(wǎng)絡(luò)進(jìn)行了長時(shí)間的研究和運(yùn)用，而其他機(jī)器學(xué)習(xí)方法可以提供新的、未探索的技術(shù)創(chuàng)新空間;

其二，希望 AI 可以落地到更多領(lǐng)域，并對人們的日常生活帶來積極的影響;

其三，希望可以更多地思考和探討 AI 研究者、工程師和從業(yè)者必須采取哪些措施才能防止 AI 錯(cuò)誤的發(fā)展或 AI 技術(shù)的濫用。

標(biāo)簽： 機(jī)器學(xué)習(xí) 人工智能

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。