DeepMind日前公開(kāi)了他們首款醫(yī)療AI落地產(chǎn)品，能診斷50多種眼疾，精度超越人類醫(yī)生。為了訓(xùn)練這個(gè)系統(tǒng)，DeepMind 用了近1.5萬(wàn)個(gè)人工標(biāo)注的數(shù)據(jù)。盡管這項(xiàng)工作非常了不起，但從更廣闊的視角看，從不會(huì)學(xué)習(xí)的電子計(jì)算機(jī)，到需要大數(shù)據(jù)才能“教會(huì)”的深度學(xué)習(xí)，有沒(méi)有可能更進(jìn)一步，實(shí)現(xiàn)像人類一樣只需要小數(shù)據(jù)就能學(xué)習(xí)的方法?本文作者復(fù)星集團(tuán)AI首席科學(xué)家、大數(shù)醫(yī)達(dá)創(chuàng)始人鄧侃博士認(rèn)為，Deep Coaching 或許是一種可行之道。

 

 

DeepMind 是 Google 旗下專注于人工智能研究的公司，DeepMind 最出名的成就是 AlphaGo 系統(tǒng)，它戰(zhàn)勝了當(dāng)今世界所有圍棋高手。

2018年8月13日，DeepMind 一組研究員，在 Nature Medicine 上發(fā)表了一篇論文，題為 “Clinically applicabledeep learning for diagnosis and referral in retinal disease”，用深度學(xué)習(xí)算法，學(xué)習(xí)視網(wǎng)膜疾病的診斷和轉(zhuǎn)診，并付諸臨床實(shí)踐。

這篇論文的內(nèi)容，媒體上已經(jīng)有不少報(bào)導(dǎo)，似乎沒(méi)有必要進(jìn)一步讀解。但是我們不妨退后幾步，用更廣闊的視角，審視從電子計(jì)算機(jī)到智能機(jī)器的演進(jìn)。我們已經(jīng)實(shí)現(xiàn)了哪些成就，目前主要的障礙有哪些，并探討如何解決這些問(wèn)題。

三位大師成就電子計(jì)算機(jī)，但只能服從指令不會(huì)學(xué)習(xí)

說(shuō)到電子計(jì)算機(jī)，就必須仰望三位大師：圖靈、馮·諾依曼、香農(nóng)。

 

 

電子計(jì)算機(jī)與傳統(tǒng)機(jī)器的本質(zhì)區(qū)別是，計(jì)算機(jī)把指令與操作分離，機(jī)器預(yù)先不知道要進(jìn)行哪些操作，根據(jù)實(shí)時(shí)下達(dá)的指令完成操作。而且，計(jì)算機(jī)還可以把一系列指令，編制成程序，動(dòng)態(tài)地生成指令，讓機(jī)器完成更復(fù)雜的復(fù)合操作。

計(jì)算機(jī)的原理，由圖靈首創(chuàng)。用電子器件完成計(jì)算機(jī)的工程實(shí)現(xiàn)，由馮·諾依曼首創(chuàng)。而數(shù)碼信息的通訊，包括編碼解碼和傳輸通道，由香農(nóng)首創(chuàng)。

但是，電子計(jì)算機(jī)只是機(jī)械地執(zhí)行程序賦予的指令，并不會(huì)像人類那樣思考，尤其是不會(huì)像人類那樣學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)會(huì)“學(xué)習(xí)”，但需要大數(shù)據(jù)，與人腦思考方式不符

那什么是“學(xué)習(xí)”?

有一種觀點(diǎn)認(rèn)為，學(xué)習(xí) = 函數(shù)擬合。如果把函數(shù)表達(dá)為 y = f(x)，又有一大堆訓(xùn)練數(shù)據(jù)，也就是一大堆 (x，y) 數(shù)組，那么學(xué)習(xí)過(guò)程，就是從訓(xùn)練數(shù)據(jù)中，得出對(duì)原函數(shù)的近似模擬。

1940年代，科學(xué)家們模仿神經(jīng)元的解剖學(xué)構(gòu)造，發(fā)明了一種數(shù)據(jù)結(jié)構(gòu)——神經(jīng)元 perceptron�？茖W(xué)家們發(fā)現(xiàn)，把多個(gè)神經(jīng)元組合在一起，構(gòu)成神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)能夠表達(dá)幾乎任何函數(shù)。換而言之，神經(jīng)網(wǎng)絡(luò)是通用的函數(shù)，學(xué)習(xí)的過(guò)程，等同于猜測(cè)神經(jīng)網(wǎng)絡(luò)的參數(shù)。海量訓(xùn)練數(shù)據(jù)的用途，在于不斷地優(yōu)化對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)的猜測(cè)，使神經(jīng)網(wǎng)絡(luò)能夠更好地模擬目標(biāo)函數(shù)。

 

 

“學(xué)習(xí)”等于猜測(cè)神經(jīng)網(wǎng)絡(luò)的參數(shù)，大數(shù)據(jù)用于不斷優(yōu)化對(duì)參數(shù)的猜測(cè)

但是，要表達(dá)復(fù)雜函數(shù)，需要規(guī)模龐大的神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)包括上百層神經(jīng)元，每層包含幾千個(gè)神經(jīng)元。Geoffrey Hinton 教授，給這種超大規(guī)模的神經(jīng)網(wǎng)絡(luò)取了一個(gè)名字——深度神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)(Deep Learning)也是由此而來(lái)。

深度學(xué)習(xí)是一種通用的方法，能夠應(yīng)用在很多領(lǐng)域，尤其在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理三大領(lǐng)域的應(yīng)用，與傳統(tǒng)方法相比較，深度學(xué)習(xí)取得了突破性的進(jìn)展。

但是，深度學(xué)習(xí)經(jīng)常遭人詬病的弱點(diǎn)有三：

1. 需要大量訓(xùn)練數(shù)據(jù)。譬如 DeepMind 昨天發(fā)表的論文中提到，他們用 14,884 個(gè)經(jīng)過(guò)人工標(biāo)注的訓(xùn)練數(shù)據(jù)(醫(yī)學(xué)圖像)，學(xué)習(xí) 50 多種視網(wǎng)膜疾病的診斷。人工標(biāo)注 14,884 張醫(yī)學(xué)圖像，工作量不小。但對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，經(jīng)常需要百萬(wàn)級(jí)訓(xùn)練數(shù)據(jù)。從百萬(wàn)數(shù)量級(jí)，降低到 14,884 張標(biāo)注圖片，已經(jīng)是很了不起的進(jìn)步了。

2. 黑盒子。神經(jīng)網(wǎng)絡(luò)的內(nèi)部參數(shù)，沒(méi)有明確的物理意義，無(wú)法用人類聽(tīng)得懂的語(yǔ)言，解釋深度學(xué)習(xí)的結(jié)果。

3. 沒(méi)有仿生學(xué)基礎(chǔ)。人類不需要幾萬(wàn)張圖片的訓(xùn)練，就能學(xué)習(xí)掌握讀片的訣竅。很顯然，人類大腦的學(xué)習(xí)過(guò)程，與深度學(xué)習(xí)并不相符。

DeepMind的方法：分兩步降低數(shù)據(jù)量，符合人類醫(yī)生診斷習(xí)慣

DeepMind 的改進(jìn)方法，是把讀片分成兩步：第一步從原始圖像中，提取病灶特征，類似于人類醫(yī)生讀片報(bào)告中 “檢查所見(jiàn)” 的段落內(nèi)容;第二步根據(jù)檢查所見(jiàn)的病灶特征，用分類的辦法，診斷出罹患的疾病，類似于人類醫(yī)生撰寫的讀片報(bào)告中 “檢查結(jié)論” 的段落內(nèi)容。

把讀片分成兩步，好處有三：

1. 把一大步分解為兩小步，每一小步的復(fù)雜度降低，導(dǎo)致神經(jīng)模型的規(guī)模降低，導(dǎo)致訓(xùn)練神經(jīng)模型所需的訓(xùn)練數(shù)據(jù)的數(shù)量降低。

論文自豪地聲稱，他們只用了 14,884 個(gè)經(jīng)過(guò)人工標(biāo)注的訓(xùn)練數(shù)據(jù)，就訓(xùn)練出了圖像識(shí)別系統(tǒng)，其精度媲美人類醫(yī)生對(duì)視網(wǎng)膜疾病的診斷精度。

不同設(shè)備拍攝出的圖像效果不同，因此每一種設(shè)備，最好都配有自己專用的深度學(xué)習(xí)模型(也即N種設(shè)備有N個(gè)模型)。但是，這些模型的輸出，卻都是標(biāo)準(zhǔn)化的 “檢查所見(jiàn)” 的病灶特征。從標(biāo)準(zhǔn)化的病灶特征，到 “檢查結(jié)論” 的疾病診斷，只需要一個(gè)模型(因此，總共需要 N+1 個(gè)模型)。

雖然不同設(shè)備的專屬模型，理論上各不相同。但是在生成新設(shè)備的專屬模型時(shí)，可以在已經(jīng)生成了的其它設(shè)備的專屬模型的基礎(chǔ)上，做進(jìn)一步調(diào)優(yōu)。調(diào)優(yōu)需要的訓(xùn)練數(shù)據(jù)，數(shù)量大大降低。

2. 通過(guò)分析診斷模型的參數(shù)，可以窺探到哪些輸入的病灶特征，對(duì)診斷結(jié)果的影響更大。也就是說(shuō)，可以基于從輸入到輸出的敏感性分析，來(lái)解釋深度學(xué)習(xí)模型的內(nèi)在邏輯。

3. 把讀片的過(guò)程，從一個(gè)大步，分解為兩個(gè)小步(檢查所見(jiàn)與檢查結(jié)論)，符合人類醫(yī)生讀片的習(xí)慣。

遺留的問(wèn)題，是如何進(jìn)一步降低對(duì)訓(xùn)練數(shù)據(jù)(人工標(biāo)注過(guò)的醫(yī)學(xué)圖片)的數(shù)量要求，尤其是第一步，從不同設(shè)備拍攝的照片中，提取病灶特征。

深度教練：讓深度學(xué)習(xí)模仿人類教學(xué)過(guò)程，大幅減少訓(xùn)練數(shù)據(jù)

假如我們把深度學(xué)習(xí)(Deep Learning)，改進(jìn)為深度教練(Deep Coaching)，或許可以大幅度降低對(duì)訓(xùn)練數(shù)據(jù)的數(shù)量要求。

深度教練(Deep Coaching)模仿人類老師指導(dǎo)人類學(xué)生的過(guò)程。

• 人類老師指著一張醫(yī)學(xué)圖片說(shuō)：“看這里，這里是某種病灶。注意，某種病灶的形狀和紋理，具有這些特點(diǎn)。”

• 學(xué)生指著圖片中另一個(gè)區(qū)域說(shuō)：“老師，這里也是病灶嗎?”

• 老師說(shuō)：“不是的，因?yàn)椴≡畹拿娣e太小。”

• 學(xué)生又指著圖片中第三個(gè)區(qū)域說(shuō)：“老師，這里應(yīng)該是病灶了吧?”

• 。。。

如何用深度學(xué)習(xí)模型，模仿人類的教練過(guò)程?需要解決以下幾個(gè)問(wèn)題：

1. 如何識(shí)別形狀、紋理和大小?

形狀、紋理、大小，是圖像識(shí)別中的通用特征，有大量已經(jīng)被人工標(biāo)注過(guò)了的圖片，可以用于模型的訓(xùn)練。問(wèn)題在于如何窺探深度學(xué)習(xí)模型中哪一層的哪些神經(jīng)元，分別代表形狀、紋理和大小。這個(gè)問(wèn)題，有多種解決方案，譬如 dropout 等等。

2. 如何讓深度學(xué)習(xí)模型，理解 “看這里，這里是某種病灶。注意，某種病灶的形狀和紋理，具有這些特點(diǎn)”。

沿用 CNN 的辦法，把整個(gè)圖像分割成若干小區(qū)域。然后對(duì)深度學(xué)習(xí)模型進(jìn)行調(diào)參，盡可能放大病灶區(qū)域，與其它區(qū)域的差別，假設(shè)其它區(qū)域是無(wú)病灶區(qū)域。如果老師明確說(shuō)，形狀和紋理是關(guān)鍵特征，那么對(duì)于深度學(xué)習(xí)模型而言，等同于先驗(yàn)地放大相關(guān)參數(shù)的初始設(shè)置。

3. 如何讓深度學(xué)習(xí)模型模仿學(xué)生，指著圖片中另一個(gè)區(qū)域說(shuō)：“老師，這里也是病灶嗎?”

用第二步訓(xùn)練出來(lái)的模型，掃描整個(gè)圖像，標(biāo)記出其它疑似病灶區(qū)域。

4. 如何讓深度學(xué)習(xí)模型理解老師的糾正，“不是的，因?yàn)椴≡畹拿娣e太小。”

等同于對(duì)深度學(xué)習(xí)模型進(jìn)行調(diào)參，尤其是與病灶面積相關(guān)的參數(shù)，使得模型的輸出正確。

完成深度教練的全部過(guò)程，應(yīng)該最多只需要幾十個(gè)回合。所需的訓(xùn)練數(shù)據(jù)，也就是標(biāo)注過(guò)的圖片，估計(jì)不超過(guò)十張。而且每張標(biāo)注的圖片，不需要把所有病灶都標(biāo)注出來(lái)。

深度學(xué)習(xí) vs 深度教練的比較研究，似乎值得探討。

有志者，不妨來(lái)合作。

參考文獻(xiàn)：

Clinically applicable deep learning for diagnosisand referral in retinal disease：

https://www.nature.com/articles/s41591-018-0107-6

標(biāo)簽： Google 大數(shù)據(jù) 媒體 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。