如果你是剛?cè)腴T(mén)機(jī)器學(xué)習(xí)的AI探索者，你知道什么是膠囊網(wǎng)絡(luò)嗎?AutoML和元學(xué)習(xí)又是什么?為了幫大家節(jié)省查閱晦澀難懂的論文的時(shí)間，我們邀請(qǐng)微軟亞洲研究院機(jī)器學(xué)習(xí)組實(shí)習(xí)生吳酈軍、羅人千幫大家用最通俗的語(yǔ)言解釋了這三個(gè)機(jī)器學(xué)習(xí)領(lǐng)域的熱門(mén)詞匯，趕緊收藏吧!

膠囊網(wǎng)絡(luò)Capsule Networks

膠囊網(wǎng)絡(luò)(Capsule Networks)是深度學(xué)習(xí)三巨頭之一的Geoffrey Hinton提出的一種全新的神經(jīng)網(wǎng)絡(luò)。最初發(fā)表在2017年的NIPS會(huì)議上：Dynamic Routing Between Capsules。膠囊網(wǎng)絡(luò)基于一種新的結(jié)構(gòu)——膠囊(Capsule)，通過(guò)與現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合，從而在一些圖像分類的數(shù)據(jù)上取得了非常優(yōu)越的性能。

何謂膠囊?簡(jiǎn)單來(lái)說(shuō)，膠囊就是將原有大家熟知的神經(jīng)網(wǎng)絡(luò)中的個(gè)體神經(jīng)元替換成了一組神經(jīng)元組成的向量，這些神經(jīng)元被包裹在一起，組成了一個(gè)膠囊。因此，膠囊網(wǎng)絡(luò)中的每層神經(jīng)網(wǎng)絡(luò)都包含了多個(gè)膠囊基本單元，這些膠囊與上層網(wǎng)絡(luò)中的膠囊進(jìn)行交互傳遞。

 

 

膠囊網(wǎng)絡(luò)的主要特點(diǎn)是什么呢?與傳統(tǒng)CNN相比優(yōu)勢(shì)是什么呢?下圖簡(jiǎn)單比較了膠囊和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的不同。

 

 

兩者最大的不同在于，膠囊網(wǎng)絡(luò)中的神經(jīng)元是一個(gè)整體，包含了特征狀態(tài)的各類重要信息，比如長(zhǎng)度、角度、方向等，而傳統(tǒng)的CNN里每個(gè)神經(jīng)元都是獨(dú)立的個(gè)體，無(wú)法刻畫(huà)位置、角度等信息。這也就是為什么CNN通過(guò)數(shù)據(jù)增廣的形式(對(duì)于同一個(gè)物體，加入不同角度、不同位置的圖片進(jìn)行訓(xùn)練)，能夠大大提高模型最后的結(jié)果。

膠囊網(wǎng)絡(luò)能夠保證圖像中不同的對(duì)象(比如人臉中的鼻子、眼睛、嘴巴)之間的相對(duì)關(guān)系不受角度改變的影響，這一特性來(lái)自于圖形圖像學(xué)的啟發(fā)。對(duì)于3D圖像，人類的大腦能夠在不同的位置對(duì)于這個(gè)圖像都做出準(zhǔn)確的判別。當(dāng)我們以向量的形式將特性狀態(tài)封裝在膠囊中時(shí)，膠囊擁有狀態(tài)特性的長(zhǎng)度(以概率形式加權(quán)編碼)以及狀態(tài)的方向(特征向量的方向)。因此對(duì)于膠囊來(lái)說(shuō)，長(zhǎng)度相同的特征，其方向也存在著變化，而這樣的變化對(duì)于模型訓(xùn)練就正如不同角度的增廣圖像。

膠囊的工作原理是基于“囊間動(dòng)態(tài)路由”的算法，這是一種迭代算法。簡(jiǎn)單地說(shuō)，兩層之間的膠囊信息傳遞，會(huì)通過(guò)計(jì)算兩者之間的一種相關(guān)信息來(lái)決定下層的膠囊如何將自己的特征傳遞給上層的膠囊。也就是說(shuō)，下層膠囊將其輸出發(fā)送給對(duì)此表示“同意”的上層膠囊，利用輸入與輸出之間的點(diǎn)積相似性，來(lái)更新路由間的系數(shù)。

跟傳統(tǒng)的CNN相比，當(dāng)前的膠囊網(wǎng)絡(luò)在實(shí)驗(yàn)效果上取得了更好的結(jié)果，但是訓(xùn)練過(guò)程卻慢了很多，因此膠囊網(wǎng)絡(luò)依然很有很大的發(fā)展空間。

自動(dòng)機(jī)器學(xué)習(xí)AutoML

在實(shí)際的AI應(yīng)用中，如果想讓機(jī)器學(xué)習(xí)獲得比較好的學(xué)習(xí)結(jié)果，除了對(duì)數(shù)據(jù)進(jìn)行初步分析、處理，可能還需要依賴領(lǐng)域知識(shí)對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的特征提取和特征選擇，然后根據(jù)不同的任務(wù)及數(shù)據(jù)特征選擇合適的機(jī)器學(xué)習(xí)模型，在訓(xùn)練模型時(shí)還要調(diào)大量的超參數(shù)，嘗試各種tricks。整個(gè)過(guò)程中需要花費(fèi)大量的人工和時(shí)間。因此，機(jī)器學(xué)習(xí)從業(yè)者都戲稱自己是“調(diào)參工程師”，稱自己的工作是“有多少人工就有多少智能”。對(duì)于初入門(mén)的小白及大量普通開(kāi)發(fā)者來(lái)說(shuō)，機(jī)器學(xué)習(xí)工具比較難以掌握。

為了減少這些需要人工干預(yù)的繁雜工作，自動(dòng)機(jī)器學(xué)習(xí)(Automatic Machine Learning，簡(jiǎn)稱AutoML)應(yīng)運(yùn)而生。它能自動(dòng)選擇合適的算法模型以及調(diào)整超參數(shù)，并最終取得不錯(cuò)的學(xué)習(xí)效果。簡(jiǎn)單來(lái)說(shuō)，自動(dòng)機(jī)器學(xué)習(xí)過(guò)程就是用戶提供數(shù)據(jù)集，確定任務(wù)目標(biāo)，之后的工作就交給AutoML來(lái)處理，用戶將會(huì)得到一個(gè)訓(xùn)練好的模型。這大大降低了使用機(jī)器學(xué)習(xí)工具的門(mén)檻，讓機(jī)器學(xué)習(xí)工具的使用過(guò)程變得簡(jiǎn)單、輕松。

我們以AutoML里的一個(gè)子領(lǐng)域NAS(Neural Architecture Search，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索)為例。顧名思義，NAS是自動(dòng)搜索神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)都是由人工設(shè)計(jì)的，經(jīng)過(guò)長(zhǎng)時(shí)間的演化迭代，從AlexNet到DenseNet，性能不斷上升，效果也不斷提升。但正如前文所說(shuō)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的演化過(guò)程耗費(fèi)了大量的人工。不同的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，如AlexNet、VGG、ResNet、DenseNet等需要深度學(xué)習(xí)的專業(yè)研究人員進(jìn)行研究改進(jìn)，而它們?cè)诰唧w任務(wù)上的應(yīng)用又需要進(jìn)一步調(diào)整相應(yīng)的參數(shù)和結(jié)構(gòu)。

 

 

NAS旨在針對(duì)給定的數(shù)據(jù)集和學(xué)習(xí)任務(wù)，自動(dòng)搜索出適用于該任務(wù)的好的網(wǎng)絡(luò)結(jié)構(gòu)。決定一個(gè)神經(jīng)網(wǎng)絡(luò)“區(qū)別于其它網(wǎng)絡(luò)”的關(guān)鍵因素包括網(wǎng)絡(luò)結(jié)構(gòu)里每層的運(yùn)算操作(如不同種類、大小的卷積和池化操作)、每層的大小、層與層之間的連接方式、采用的激活函數(shù)等。這些關(guān)鍵因素在傳統(tǒng)的人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)里都是固定的，但在自動(dòng)搜索網(wǎng)絡(luò)結(jié)構(gòu)里可能都是未知的。算法需要通過(guò)自動(dòng)搜索進(jìn)而最終決定一個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

2016年Barret Zoph等人發(fā)表了Neural architecture search with reinforcement learning一文，文中提出了控制器-子網(wǎng)絡(luò)的框架，其中子網(wǎng)絡(luò)即我們要應(yīng)用在目標(biāo)任務(wù)上的網(wǎng)絡(luò)，控制器則負(fù)責(zé)生成子網(wǎng)絡(luò)的結(jié)構(gòu)。對(duì)于圖像類任務(wù)，子網(wǎng)絡(luò)采用CNN，搜索其每層的運(yùn)算操作和連接方式;對(duì)于文本類任務(wù)，子網(wǎng)絡(luò)采用RNN時(shí)，搜索其每層的激活函數(shù)和連接方式。控制器搜索出的子網(wǎng)絡(luò)結(jié)構(gòu)在目標(biāo)任務(wù)的數(shù)據(jù)驗(yàn)證集上的性能則作為reward反饋給控制器，通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，使得控制器經(jīng)過(guò)不斷的學(xué)習(xí)迭代生成更好的子網(wǎng)絡(luò)結(jié)構(gòu)。但是這一工作使用了大量GPU資源，耗費(fèi)了一個(gè)月時(shí)間才得到了最后的結(jié)果。

隨后，有一系列的工作對(duì)NAS做出了改進(jìn)：改進(jìn)搜索空間(搜索單一block里的結(jié)構(gòu)，之后堆疊多個(gè)block作為最終網(wǎng)絡(luò))、改進(jìn)搜索算法(使用演化算法、梯度優(yōu)化等)、提升搜索效率(通過(guò)參數(shù)共享等)等。這些工作提升了NAS本身的搜索效率和性能，同時(shí)搜索出的CNN網(wǎng)絡(luò)也在主要的數(shù)據(jù)集(CIFAR10、CIFAR100、IMAGENET)上取得了SOTA，超過(guò)了人工設(shè)計(jì)的網(wǎng)絡(luò)的性能。微軟亞洲研究院機(jī)器學(xué)習(xí)組發(fā)表在NIPS 2018上的工作Neural Architecture Optimization [1]，利用網(wǎng)絡(luò)結(jié)構(gòu)在驗(yàn)證集上的性能對(duì)網(wǎng)絡(luò)的梯度信息來(lái)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。首先將離散的網(wǎng)絡(luò)結(jié)構(gòu)用編碼器轉(zhuǎn)換成連續(xù)空間里的向量，然后訓(xùn)練了一個(gè)預(yù)測(cè)器來(lái)預(yù)測(cè)該向量(網(wǎng)絡(luò)結(jié)構(gòu))在驗(yàn)證集上的性能，從而可以直接基于預(yù)測(cè)結(jié)果對(duì)該向量的梯度進(jìn)行優(yōu)化，生成更好的向量(網(wǎng)絡(luò)結(jié)構(gòu))，最后再通過(guò)解碼器解碼將生成的向量解碼成離散的網(wǎng)絡(luò)結(jié)構(gòu)。我們的算法搜索出的CNN和RNN結(jié)構(gòu)在相應(yīng)任務(wù)(CIFAR10、CIFAR100、PTB、Wikitext-2)上皆取得了超過(guò)其它NAS工作的最好性能。

元學(xué)習(xí)Meta Learning

我們期待的通用人工智能的目標(biāo)是讓人工智能像人一樣學(xué)會(huì)推理、思考，能快速學(xué)習(xí)。對(duì)于現(xiàn)實(shí)世界的很多問(wèn)題，人類之所以能夠快速學(xué)習(xí)是因?yàn)槿祟惥哂袕?qiáng)大的思考推理能力以及學(xué)習(xí)能力。人類能夠利用以往學(xué)習(xí)到的知識(shí)經(jīng)驗(yàn)來(lái)指導(dǎo)新知識(shí)的學(xué)習(xí)，做到“觸類旁通”、“舉一反三”，這讓人類的學(xué)習(xí)行為變得十分高效。

元學(xué)習(xí)(Meta Learning)的目的就是研究如何讓機(jī)器學(xué)習(xí)系統(tǒng)擁有學(xué)習(xí)的能力，能夠更好、更高效地學(xué)習(xí)，從而取得更好的學(xué)習(xí)效果。比如對(duì)于數(shù)據(jù)集，采取什么方式、什么順序、什么策略進(jìn)行學(xué)習(xí)，對(duì)于學(xué)習(xí)效果如何進(jìn)行評(píng)測(cè)，這些都會(huì)影響到模型學(xué)習(xí)的效果。

 

 

微軟亞洲研究院機(jī)器學(xué)習(xí)組今年發(fā)表在NIPS 2018上的工作Learning to Teach with Dynamic Loss Functions [2]使用一個(gè)teacher model來(lái)指導(dǎo)student model(學(xué)習(xí)具體任務(wù)的模型)學(xué)習(xí)，讓student model在學(xué)習(xí)過(guò)程中動(dòng)態(tài)利用學(xué)習(xí)到的不同的損失函數(shù)(loss function)來(lái)處理不同數(shù)據(jù)的學(xué)習(xí)，學(xué)習(xí)到的模型在相應(yīng)任務(wù)上取到了很好的結(jié)果。

參考文獻(xiàn)

[1] Renqian Luo, Fei Tian, Tao Qin, Tie-Yan Liu, Neural Architecture Optimization, NIPS 2018

[2] Lijun Wu, Fei Tian, Yingce Xia, Tao Qin, Tie-Yan Liu, Learning to Teach with Dynamic Loss Functions, NIPS 2018

標(biāo)簽： 開(kāi)發(fā)者 評(píng)測(cè) 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。