近日由吳恩達(dá)與 Kian Katanforoosh 指導(dǎo)的 CS230(深度學(xué)習(xí))課程已經(jīng)結(jié)束并放出了課程資料。這一門課程結(jié)合 Coursera 課外教學(xué)與課內(nèi)教學(xué)展示了深度學(xué)習(xí)的基本概念與完整結(jié)構(gòu)，本文簡要介紹了該課程及基本內(nèi)容。

課程地址：https://web.stanford.edu/class/cs230/

課程簡介：深度學(xué)習(xí)是 AI 領(lǐng)域中最受歡迎的技能之一。這門課程將幫助你學(xué)好深度學(xué)習(xí)。你將學(xué)到深度學(xué)習(xí)的基礎(chǔ)，理解如何構(gòu)建神經(jīng)網(wǎng)絡(luò)，并學(xué)習(xí)如何帶領(lǐng)成功的機器學(xué)習(xí)項目。你將學(xué)到卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶網(wǎng)絡(luò)(LSTM)、Adam 優(yōu)化器、Dropout 方法、BatchNorm 方法、Xavier/He 初始化方法等。你將在醫(yī)療、自動駕駛、手語識別、音樂生成和自然語言處理等領(lǐng)域中進(jìn)行案例研究。你不僅能掌握理論，還能看到深度學(xué)習(xí)如何應(yīng)用到產(chǎn)業(yè)中。我們將需要使用 Python 和 TensorFlow 來實現(xiàn)所有的項目，課程中也會教這一部分。完成這門課程后，你將能以創(chuàng)新的方式將深度學(xué)習(xí)應(yīng)用到你的工作中。該課程是以翻轉(zhuǎn)課堂的形式教學(xué)的。你將先在家里觀看 Coursera 視頻、完成編程任務(wù)以及在線測驗，然后來到課堂上做進(jìn)一步討論和完成項目。該課程將以開放式的最終項目結(jié)束，教學(xué)團(tuán)隊會在過程中提供幫助。

CS230 采取課內(nèi)和 Coursera 在線課程相結(jié)合的形式，其中每一個課程的模塊都需要在 Coursera 上觀看視頻、做測試并完成編程作業(yè)。一周的課程約需要在 Cousera 上在線學(xué)習(xí)兩個模塊再加上 80 分鐘的課內(nèi)時間。

 

 

這門課程要求學(xué)生有一些背景知識，首先學(xué)生需要了解計算機科學(xué)基本原理與技能，并且能寫合理、簡潔的計算機程序。其次學(xué)生需要熟悉概率論與線性代數(shù)等基本的數(shù)學(xué)知識。

目前 CS230 的結(jié)課項目報告與 Poster 展示都已經(jīng)發(fā)布，包含多種主題，如音樂生成、情緒檢測、電影情感分類、癌癥檢測等。課程報告和 Poster 前三名已經(jīng)公布：

 

 

報告第一名：Image-to-Image Translation with Conditional-GAN (Weini Yu, Jason Hu, Yujo Zhouchangwan Yu)

該報告使用條件生成對抗網(wǎng)絡(luò)(C-GAN)研究航空圖圖像翻譯。參與者首先復(fù)現(xiàn)了 Isola 等人提出的 C-GAN 模型，然后探索了不同的網(wǎng)絡(luò)架構(gòu)、損失函數(shù)和訓(xùn)練策略。對不同模型進(jìn)行了定性和定量評估，得出結(jié)論：基于殘差的模型在僅使用 1000 個訓(xùn)練樣本的情況下得到了非常高質(zhì)量的圖像。

 

 

C-GAN 網(wǎng)絡(luò)架構(gòu)

 

 

生成器網(wǎng)絡(luò)架構(gòu)

報告第二名：Deep Knowledge tracing and Engagement with MOOCs (Klint Kanopka, Kritphong Mongkhonvanit, David Lang)

該報告利用深度知識追蹤網(wǎng)絡(luò)以及 MOOC 課程互動協(xié)變量，計算學(xué)生的課程參與度，發(fā)現(xiàn)該方法能夠以超過 88% 的準(zhǔn)確率預(yù)測學(xué)生的下一個項目反應(yīng)。利用這些預(yù)測可以向?qū)W生提供針對性的干預(yù)，也可以對課程進(jìn)行針對性的改進(jìn)。

 

 

模型結(jié)構(gòu)

報告第三名：Deep Learning for Improving Power-Accuracy of Heart Rate Monitors (Albert Gural)

該報告利用深度學(xué)習(xí)方法解決從低采樣率 PPG 中確定心率以及如何確定運動偽影中的加速度計信號的問題。

Poster 第一名：Painting Outside the Box: Image Outpainting with GANs (Mark Sabini, Gili Rusak)

 

 

Poster 第二名：LeafNet: A Deep Learning Solution to Tree Species Identification (Krishna Rao, Elena Herrero, Gabrielle Pacalin)

該 Poster 使用殘差網(wǎng)絡(luò)基于圖像對北美 185 個樹種進(jìn)行分類。

 

 

Poster 第三名：Earthquake warning system: Detecting earthquake precursor signals using deep neural networks (Mustafa Al Ibrahim, Jihoon Park, Noah Athens)

該 Poster 對 1D CNN、2D CNN、RNN 的地震預(yù)測性能進(jìn)行了評估。

 

 

課程主要內(nèi)容

CS230 與吳恩達(dá)在 Coursera 上的深度學(xué)習(xí)專項課程一樣分 5 部分，即神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)、提升深度神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)項目的策略、卷積神經(jīng)網(wǎng)絡(luò)及序列模型。

在第一課中介紹了神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的基礎(chǔ)。主要在課堂內(nèi)介紹了深度學(xué)習(xí)的直觀概念，并借助兩個模塊從頭開始學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)到底是什么。

 

 

其中第一課的第一個模塊 C1M1 主要從線性回歸與房價預(yù)測引出神經(jīng)網(wǎng)絡(luò)，并著重介紹了監(jiān)督式深度學(xué)習(xí)的基本概念。如下 C1M1 展示了基本神經(jīng)網(wǎng)絡(luò)的類別：

 

 

其中標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)即我們常見的全連接網(wǎng)絡(luò)，它是最基礎(chǔ)也是最本質(zhì)的「神經(jīng)網(wǎng)絡(luò)式」層級表征方法。標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)簡單而言即后一層的單個神經(jīng)元接收前一層所有神經(jīng)元激活值的加權(quán)和，并判斷本神經(jīng)元是不是需要激活。而卷積網(wǎng)絡(luò)與全連接網(wǎng)絡(luò)最大的區(qū)別是后一層的神經(jīng)元只與前一層神經(jīng)元部分連接，且神經(jīng)元之間存在權(quán)重共享，這樣的神經(jīng)網(wǎng)絡(luò)減少了冗余參數(shù)，并有利于建模如圖像那樣有局部結(jié)構(gòu)的數(shù)據(jù)。最后的循環(huán)網(wǎng)絡(luò)又與前兩個前饋網(wǎng)絡(luò)不同，它在不同時間步上使用相同的神經(jīng)網(wǎng)絡(luò)函數(shù)，并每一個時間步都利用前面時間步的必要信息，這樣的網(wǎng)絡(luò)能有效處理自然語言等序列問題。

隨后在 C1M2 中，該課程開始具體介紹神經(jīng)網(wǎng)絡(luò)。當(dāng)然理解神經(jīng)網(wǎng)絡(luò)還是需要從 Logistic 回歸與感知機算法開始，而最基礎(chǔ)的梯度下降與如何計算導(dǎo)數(shù)也是必須的。

 

 

如上所示為 Logistic 回歸的主要過程，我們先根據(jù)初始化的參數(shù)計算激活值 a，再根據(jù)預(yù)測值與標(biāo)注值之間的差距計算損失函數(shù)，最后推導(dǎo)損失函數(shù)對各參數(shù)的梯度就能使用梯度下降更新參數(shù)。

第二課介紹深度學(xué)習(xí)模型的內(nèi)部數(shù)學(xué)結(jié)構(gòu)，從淺層網(wǎng)絡(luò)逐步過渡到深度網(wǎng)絡(luò)，理解「深度」的重要意義。掌握了這些概念之后，對于如何從零開始構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，能有一個基本的思路。

然后是深度模型的優(yōu)化或調(diào)參技巧，例如初始化、正則化、數(shù)據(jù)集劃分、Dropout、歸一化、梯度檢查等，和各種經(jīng)典的學(xué)習(xí)率衰減方法，如動量算法、Adam 等。

 

 

在 C1M3 中，吳恩達(dá)主要描述了感知機與神經(jīng)網(wǎng)絡(luò)的表征方法，這里仍需要推導(dǎo)大量的表達(dá)式。但只要理解了多層感知機的表達(dá)方法，那么深度全連接網(wǎng)絡(luò)與其它深度神經(jīng)網(wǎng)絡(luò)的理解就會變得容易得多。如下所示為感知機向量化的表達(dá)式，其中主要是將前一層激活值的加權(quán)和 z 表示為矩陣運算。

 

 

若理解的感知機或淺層網(wǎng)絡(luò)的計算過程與表達(dá)式，那么深度前饋網(wǎng)絡(luò)的推斷過程就能輕松掌握。不過對于深度前饋網(wǎng)絡(luò)，另一個非常重要的過程是反向傳播。因為模型參數(shù)需要梯度才能更新，因此將根據(jù)損失函數(shù)計算出來的梯度反向傳遞到各個層級就非常有必要了。如下，C1M4 主要就介紹了這種反向傳播：

 

 

如上所示，當(dāng)我們根據(jù)損失函數(shù) L(y hat, y) 計算出最后一層的梯度，我們需要根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t將梯度反向傳遞到前層。

此外，這一部分 C2M1 和 C2M2 分別介紹了深度學(xué)習(xí)的技巧與基本的最優(yōu)化方法。其中雖優(yōu)化方法從批量梯度下降和小批量梯度下降開始到 Adam 最優(yōu)化方法介紹了基本的學(xué)習(xí)過程。如下是手推的小批量梯度下降，但我們更常見的稱呼是隨機梯度下降。

 

 

小批量與批量的不同在于計算梯度的樣本比較少，一般是 32、64 等。這樣每一次迭代所需要的計算量就大大減少，且還能通過引入噪聲增加收斂結(jié)果的魯棒性。

第三課介紹結(jié)構(gòu)化機器學(xué)習(xí)項目。

基礎(chǔ)部分涉及超參數(shù)調(diào)整、批規(guī)一化方法等，以及深度學(xué)習(xí)框架(如 TensorFlow、PyTorch)的應(yīng)用。然后是機器學(xué)習(xí)策略，包括垂直化調(diào)參、評估指標(biāo)設(shè)置、數(shù)據(jù)集劃分等。

這一課會介紹如何在實際案例中應(yīng)用深度學(xué)習(xí)，Pranav Rajpurkar 將教你構(gòu)建醫(yī)療領(lǐng)域的深度學(xué)習(xí)應(yīng)用，即吳恩達(dá)團(tuán)隊開發(fā)的 Chest X-Rays 項目。

 

 

在這個項目中，你將以 DenseNet 為骨干網(wǎng)絡(luò)架構(gòu)，實現(xiàn)對肺部 X 射線圖像的分類(是否有肺炎)。其中涉及了數(shù)據(jù)集構(gòu)建、模型訓(xùn)練和模型評估等，可以體驗深度學(xué)習(xí)產(chǎn)業(yè)化的完整過程。

 

 

在這一課的幾個模塊中，C3M1 和 C3M2 都介紹了機器學(xué)習(xí)中的策略。機器學(xué)習(xí)中的策略主要關(guān)注于如何訓(xùn)練模型，例如什么時候需要調(diào)整樣本數(shù)、怎么樣算過擬合以及度量方法等。這里最經(jīng)典的就是偏差與方差問題，我們常常需要根據(jù)偏差與方差確定我們的模型到底出現(xiàn)了什么狀況，例如過擬合與欠擬合等。

 

 

其中高偏差代表擬合數(shù)據(jù)集的函數(shù)集合并不包含真正的那個，即偏離正確答案有點遠(yuǎn)。而高方差表示擬合數(shù)據(jù)集的函數(shù)集合確實包含了真正的那個，但這個函數(shù)集合太大了，以至于每次搜索的都不準(zhǔn)。

第四課介紹卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)主要用于處理空間型數(shù)據(jù)，如圖像、視頻等，因此在計算機視覺中應(yīng)用甚廣。在這一部分課程期間有一個期中測驗，可以幫助你重溫之前學(xué)習(xí)過的內(nèi)容。

CNN 的基礎(chǔ)部分涉及卷積運算、步幅、池化等，然后進(jìn)一步介紹了幾個經(jīng)典的 CNN 架構(gòu)，如 LeNet-5、AlexNet、VGG、ResNet、Inception 等。之后給出了幾個 CNN 開發(fā)過程中的建議，涉及遷移學(xué)習(xí)、數(shù)據(jù)增強等。最后介紹了 CNN 領(lǐng)域的當(dāng)前研究現(xiàn)狀。

 

 

這一部分以目標(biāo)檢測應(yīng)用為主，詳細(xì)介紹了目標(biāo)檢測的整個工作流，并在最后以 YOLO 算法為例進(jìn)行整合。之后還介紹了一些特殊的應(yīng)用，例如人臉識別、神經(jīng)風(fēng)格遷移(畫風(fēng)遷移)等，其中神經(jīng)風(fēng)格遷移有更為詳細(xì)的工作流介紹。

在 C4M1 中，吳恩達(dá)重點介紹了 CNN 及各個模塊，包括卷積層、池化層、卷積步幅和 Padding 等。其中卷積層試圖將神經(jīng)網(wǎng)絡(luò)中的每一小塊進(jìn)行更加深入的分析，從而得出抽象程度更高的特征。一般來說通過卷積層處理的神經(jīng)元結(jié)點矩陣會變得更深，即神經(jīng)元的組織在第三個維度上會增加。

 

 

以上展示了經(jīng)典的 LeNet-5 架構(gòu)，正如 LeCun 在 LeNet-5 原論文中所說，卷積網(wǎng)絡(luò)結(jié)合了三種關(guān)鍵性思想來確保模型對圖像的平移、縮放和扭曲具有一定程度的不變性，這三種關(guān)鍵思想即局部感受野、權(quán)重共享和空間/時間子采樣。其中局部感受野表示卷積核只關(guān)注圖像的局部特征，而權(quán)重共享表示一個卷積核在整張圖像上都使用相同的權(quán)值，最后的子采樣即我們常用的池化操作，它可以精煉抽取的特征。

 

 

第五課介紹序列模型。序列模型主要用于處理序列型數(shù)據(jù)，如音樂、語音、文本等。序列模型主要以循環(huán)神經(jīng)網(wǎng)絡(luò)為代表，本課將介紹 RNN 的基礎(chǔ)結(jié)構(gòu)、類型、計算過程等，并以語言建模作為典型案例進(jìn)行分析。之后是一些著名的 RNN 變體，例如 GRU、LSTM、雙向 RNN、深度 RNN 等。

 

 

這一部分先簡單概述深度強化學(xué)習(xí)，然后開始以自然語言處理和詞嵌入為主題，進(jìn)一步講解 RNN 的進(jìn)階應(yīng)用。詞嵌入是很多自然語言處理模型的基礎(chǔ)，這一部分以詞嵌入為主，強調(diào)了詞嵌入技術(shù)的遷移學(xué)習(xí)作用，然后介紹幾個經(jīng)典的詞嵌入模型，例如 Word2Vec、GloVe word vectors 等，最后以情感分類作為應(yīng)用案例。

在 C5M1 中，吳恩達(dá)重點解釋了循環(huán)神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)是一類用于處理序列問題的神經(jīng)網(wǎng)絡(luò)，它可以擴(kuò)展到更長的序列。循環(huán)網(wǎng)絡(luò)相比經(jīng)典的全連接網(wǎng)絡(luò)有非常大的提升，例如參數(shù)共享和構(gòu)建長期依賴關(guān)系等。對于語句的序列建模，全連接網(wǎng)絡(luò)會給每個輸入特征分配一個單獨的參數(shù)，所以它需要分別學(xué)習(xí)句子每個位置的所有語言規(guī)則。而循環(huán)神經(jīng)網(wǎng)絡(luò)會在多個時間步內(nèi)共享相同的參數(shù)，因此不必學(xué)習(xí)句子每個位置的所有語言規(guī)則。此外，循環(huán)網(wǎng)絡(luò)會有一個記憶機制為當(dāng)前時間步的預(yù)測提供前面時間步的信息。

 

 

如上展示了循環(huán)網(wǎng)絡(luò)的基本結(jié)構(gòu)，它只使用前一個時間步的隱藏單元信息和當(dāng)前時間步的輸入信息，并利用相同的函數(shù)計算下一個隱藏單元的值。

 

 

完成這些課程后，就可以開始準(zhǔn)備最終項目了。

標(biāo)簽： 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。