本文帶你一窺Twitter整個(gè)產(chǎn)品鏈的構(gòu)成，了解數(shù)據(jù)科學(xué)是怎樣在各類型公司中發(fā)揮作用的。

 

 

GIF來自：https://giphy.com/gifs/features-7BldZFcv2pof6

如何構(gòu)建更厲害的特征檢測(cè)器?我們可以通過無監(jiān)督學(xué)習(xí)來做到這一點(diǎn)嗎?

請(qǐng)注意，本文是一篇我自己留檔用的回顧總結(jié)材料。

 

 

Paper來自此網(wǎng)站：

https://arxiv.org/pdf/1112.6209.pdf

摘要

 

 

這篇文章的作者們喜歡利用未標(biāo)記數(shù)據(jù)制作特定的分類特征識(shí)別器。(例如，使用未標(biāo)記的人臉圖像制作人臉識(shí)別器。)為實(shí)現(xiàn)這一目標(biāo)，作者在大型數(shù)據(jù)集上制作了一個(gè)9層的自動(dòng)稀疏編碼器。與普遍的認(rèn)知相反，這可以在沒有任何標(biāo)簽數(shù)據(jù)的情況下構(gòu)建面部檢測(cè)器，而且優(yōu)于ImageNet數(shù)據(jù)的最新性能。 (在2012年)。

介紹

 

 

這篇文章的目的是只依靠未標(biāo)記圖像構(gòu)建一個(gè)特定的分類特征識(shí)別器，同時(shí)這也是神經(jīng)科學(xué)的構(gòu)想：“人類大腦中存在高度特定類的神經(jīng)元”，通常被非正式地稱為“母神經(jīng)元”。在傳統(tǒng)的計(jì)算機(jī)視覺中，大多數(shù)研究人員使用標(biāo)記數(shù)據(jù)來獲得這些識(shí)別器，然而大量數(shù)據(jù)時(shí)就比較困難。這個(gè)實(shí)驗(yàn)的成功說明，可以從未標(biāo)記數(shù)據(jù)中學(xué)習(xí)高級(jí)特征和母神經(jīng)元。大多數(shù)這些方法(如自動(dòng)稀疏編碼器)僅僅可以用于低級(jí)特征，如邊緣或斑點(diǎn)(edges or blobs)。

作者假設(shè)深度學(xué)習(xí)花費(fèi)如此多時(shí)間的原因是由于缺少高級(jí)特征，例如，圖像被重新調(diào)整得更小，這樣的降級(jí)會(huì)破壞高級(jí)特征的學(xué)習(xí)。作者沒有縮小圖像，也沒有使用大量計(jì)算能力。經(jīng)證明，有可能從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)更高級(jí)別的特性。最后，使用學(xué)習(xí)過濾器，他們能夠超越ImageNet數(shù)據(jù)集的最新技術(shù)性能。(2012年)。

數(shù)據(jù)集結(jié)構(gòu)/算法

 

 

如上所述，來自1000萬個(gè)Youtube視頻隨機(jī)選擇的片段，他們通過使用OpenCV臉部識(shí)別得出結(jié)論，在1000萬個(gè)采樣片段中，面部出現(xiàn)的概率不到3%。

這里使用的算法的靈感來自不同類型的無監(jiān)督學(xué)習(xí)算法的成功。(RBM，稀疏自動(dòng)編碼器等......)。作者的目的是學(xué)習(xí)更高水平的特征，而不僅僅是低水平。

 

 

如上所述，作者使用的架構(gòu)可以被認(rèn)為是深度自動(dòng)的稀疏編碼器，帶有一些轉(zhuǎn)動(dòng)(twist)同時(shí)它們也是局部感受器，池和局部響應(yīng)歸一化(使用了L2池)。堆疊(stacking)一系列統(tǒng)一模塊，大腦所采用的架構(gòu)是在選擇性和允差層(tolerance layers)之間轉(zhuǎn)換。有一件需要注意的重要的事是，雖然網(wǎng)絡(luò)使用局部感受器，但是它們并不是卷積的(參數(shù)在圖像中的不同位置不可共享)，這在生物學(xué)上更合理。

學(xué)習(xí)和優(yōu)化

 

 

在學(xué)習(xí)期間第二子層會(huì)被固定為均勻的權(quán)重，所有編碼器和解碼器中的其他權(quán)重通過上面的成本函數(shù)來處理。優(yōu)化問題也稱為重建地形獨(dú)立成分分析(Topographic ICA)，基本上第一項(xiàng)確保編碼中關(guān)于數(shù)據(jù)的重要信息，第二項(xiàng)鼓勵(lì)將有相似特征的特性組合在一起以實(shí)現(xiàn)方差。

這篇文章的作者使用了異步隨機(jī)梯度下降(ASGD)，并使用1000簇機(jī)器對(duì)網(wǎng)絡(luò)進(jìn)行了為期三天的處理。

面部實(shí)驗(yàn)

 

 

這個(gè)測(cè)試數(shù)據(jù)由37，000個(gè)來自Labeled FacesIn the Wild數(shù)據(jù)集和ImageNet數(shù)據(jù)集的圖像組成。經(jīng)過訓(xùn)練之后，作者使用測(cè)試集來測(cè)量每個(gè)神經(jīng)元檢測(cè)面部的表現(xiàn)。令人驚訝的是，最好的神經(jīng)元能夠以81.7%的準(zhǔn)確度檢測(cè)到面部。對(duì)于沒有局對(duì)比度歸一化的層，精度會(huì)降低至78.5%。

 

 

他們將激活值轉(zhuǎn)化為直方圖得到上面的圖表，可以明顯看出，即使沒有標(biāo)記數(shù)據(jù)，也是有可能訓(xùn)練人臉檢測(cè)器的。

 

 

作者通過使用兩種技術(shù)使神經(jīng)元的刺激最大化。(使測(cè)試集里響應(yīng)最積極的刺激物可視化，最大化數(shù)值以找到最佳刺激物)。這樣可以驗(yàn)證神經(jīng)元是否確實(shí)在尋找一張臉。并且通過額外的實(shí)驗(yàn)，結(jié)果顯示已知的權(quán)重會(huì)對(duì)應(yīng)不同的方差，例如，垂直方向或左右方向旋轉(zhuǎn)和縮放。

貓和人體探測(cè)器

 

 

作者還想知道網(wǎng)絡(luò)是否能夠?qū)W習(xí)更高級(jí)別的特性例如貓和人體等。如上所述，網(wǎng)絡(luò)中的一些神經(jīng)元能夠檢測(cè)到更高級(jí)別特征的形狀例如貓或人體。在他們自己的數(shù)據(jù)集上測(cè)試的結(jié)果顯示在貓和人體上分別達(dá)到74.8%和76.7%。

通過ImageNet進(jìn)行圖像識(shí)別

 

 

在經(jīng)過訓(xùn)練后的權(quán)重上添加一對(duì)所有邏輯分類器后，他們?cè)贗mageNet數(shù)據(jù)集上重新訓(xùn)練網(wǎng)絡(luò)(此方法也稱為無監(jiān)督預(yù)訓(xùn)練)，能夠比當(dāng)時(shí)的基線(2012年)表現(xiàn)得更好。在具有22,000類別的ImageNet上，它超越了其他最高結(jié)果70%。同時(shí)所有的表現(xiàn)都可以在上面的表格看到。

結(jié)論

 

 

總結(jié)來看，使用大量數(shù)據(jù)和計(jì)算機(jī)力量，有可能實(shí)現(xiàn)僅使用未標(biāo)簽數(shù)據(jù)識(shí)別臉部和身體高級(jí)性能。另外，這種方法會(huì)比2012年ImageNet數(shù)據(jù)集的基準(zhǔn)線表現(xiàn)要優(yōu)越。

尾聲

這是一個(gè)非�？岬膶�(shí)驗(yàn)，但是所需的數(shù)據(jù)量特別大(以及計(jì)算能力)，也許這就是它沒有實(shí)現(xiàn)的原因。

參考

1,Le, Q., Ranzato, M., Monga, R., Devin, M., Chen, K., & Corrado, G. et al.(2011). Building high-level features using large scale unsupervised learning.Arxiv.org. Retrieved 15 August 2018, from https://arxiv.org/abs/1112.6209

原文標(biāo)題：

[ Google / ICML /Paper Summary ]Building High-level Features Using Large Scale Unsupervised Learning

標(biāo)簽： Google 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。