如何建立AI研究實(shí)驗(yàn)室？Yoshua Bengio 有話要說(shuō)
2018-08-13 來(lái)源：raincent
Graham Taylor 是 CIFAR「Learning in Machines & Brains」項(xiàng)目中的一位 Azrieli 全球?qū)W者，也是圭爾夫大學(xué)工程系、向量學(xué)院(Vector Institute)的副教授。Yoshua Bengio 是 CIFAR「Learning in Machines & Brains」項(xiàng)目的聯(lián)合主任，蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)系正教授。這篇文章是 Graham Taylor 與 Yoshua Bengio 的交流對(duì)話，談到了如何建立研究實(shí)驗(yàn)室，非常具有啟發(fā)性。
項(xiàng)目聯(lián)合主任，Yoshua Bengio
Graham Taylor (GT)：可以說(shuō)說(shuō)你的第一份教職工作嗎?
Yoshua Bengio (YB)：當(dāng)時(shí)我是蒙特利爾大學(xué)唯一做機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的。我非常積極，對(duì)所有來(lái)找我的學(xué)生都來(lái)者不拒。但其實(shí)我應(yīng)該更有選擇性一些。當(dāng)時(shí)，我得益于部門之外的關(guān)系網(wǎng)，尤其是那些讀博士后時(shí)一起工作的人。我聯(lián)系了 Geoff Hinton 和一些在多倫多的朋友。與志同道合的人建立聯(lián)系非常重要，尤其當(dāng)時(shí)我是這里唯一一個(gè)做這類事情的人，我需要外部支持。
GT：從一開(kāi)始就這樣嗎?
YB：是的。所以，前 7 年只有兩門而不是三門課程。后來(lái)我成了加拿大研究委員會(huì)的主席。這對(duì)我來(lái)說(shuō)可能是最具挑戰(zhàn)性的事情，教學(xué)和開(kāi)辦實(shí)驗(yàn)室讓我不堪重負(fù)，我被教員職位壓得喘不過(guò)氣來(lái)�；叵肫饋�(lái)，我本可以更好地平衡生活。
GT：內(nèi)部有人指導(dǎo)過(guò)你嗎?
YB：沒(méi)有。也許我應(yīng)該聯(lián)系一些年長(zhǎng)的教授，哪怕是與我研究方向不同的人。如果我膽大點(diǎn)兒，也許就可以得到更多反饋。我當(dāng)時(shí)沒(méi)想到這些。新教員應(yīng)該主動(dòng)接觸別人，與其他人建立聯(lián)系。各部門都應(yīng)該做到這一點(diǎn)。高級(jí)教員雖然不會(huì)主動(dòng)找你，但他們會(huì)樂(lè)于提供幫助。
GT：所以就是盡管去請(qǐng)教對(duì)吧，即使這不是大學(xué)里的明文規(guī)定?
YB：是的。
GT：從這些外部關(guān)系網(wǎng)當(dāng)中，作為一名教員，你得到的最好建議是什么?
YB：在我當(dāng)教授的第一個(gè)十年里，我和 Geoff Hinton 有過(guò)不少交流，盡管我們相距甚遠(yuǎn)。這些交流讓我更加專注于重要的事情。
得益于他們的一個(gè)建議是，不要把自己的專注點(diǎn)分散到不同的地方，更不要為了去追求某一刻的想法，而忘記長(zhǎng)期的挑戰(zhàn)。在你已經(jīng)有一定事業(yè)地位的基礎(chǔ)上，做到這一點(diǎn)并不容易，因?yàn)槟憧释霭孀銐虻臅鴣?lái)獲得終身職位。但你至少得花點(diǎn)時(shí)間來(lái)關(guān)注長(zhǎng)遠(yuǎn)的發(fā)展，這才是你事業(yè)成功與否的關(guān)鍵。如果太過(guò)沉迷于生存方式，則很容易陷入其中，你可能會(huì)錯(cuò)過(guò)一些重要的事情。我和 Geoff 的討論幫我避免了這一點(diǎn)。
GT：隨著應(yīng)用機(jī)器學(xué)習(xí)成為關(guān)注焦點(diǎn)，越來(lái)越多的公司或合作者帶著項(xiàng)目來(lái)找你，并要求你把它應(yīng)用到一個(gè)非常具體的問(wèn)題上時(shí)，上述的這種情況會(huì)加劇嗎?會(huì)不會(huì)再次對(duì)你的專注點(diǎn)造成威脅?
YB：我想每個(gè)人都要找到屬于自己的路。要想有所成就，有所突破，你就必須成為專家。所以如果你要做應(yīng)用，特別是如果你是一名年輕的教員，那么你就更應(yīng)該只專注于一個(gè)方向，然后成為這個(gè)領(lǐng)域上最厲害的人。
這是應(yīng)用機(jī)器學(xué)習(xí)的一個(gè)危機(jī)。但它的確可以用于很多事情，對(duì)吧?在 90 年代，我接觸了很多應(yīng)用。
CIFAR Azrieli 全球?qū)W者，Graham Taylor
GT：也就是說(shuō)和現(xiàn)在相比沒(méi)啥太大不同?
YB：上世紀(jì) 90 年代，人們對(duì)神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)產(chǎn)生了濃厚的興趣。加拿大的制度鼓勵(lì)與工業(yè)界的合作，這樣做可以為基礎(chǔ)科學(xué)獲得資助。所以我用一些合同資金來(lái)資助一些長(zhǎng)期研究。也許這不是預(yù)期的結(jié)果，但該制度確實(shí)通過(guò)資助基礎(chǔ)研究含蓄地鼓勵(lì)了神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的發(fā)展。我們應(yīng)該更加重視長(zhǎng)遠(yuǎn)的問(wèn)題，因?yàn)槭刮覀冊(cè)谌斯ぶ悄茴I(lǐng)域取得驚人進(jìn)展的正是這些問(wèn)題。
我可以補(bǔ)充一些關(guān)于贈(zèng)款的內(nèi)容。
有一件事我開(kāi)始時(shí)沒(méi)有意識(shí)到，當(dāng)你給一個(gè)組織寫提案時(shí)，比如加拿大自然科學(xué)與工程研究委員會(huì)(NSERC)，他們并不關(guān)心你打算干什么。他們只希望你做好工作，然后可以幾年后匯報(bào)給他們。
在研究中，你很難去預(yù)測(cè)什么是熱點(diǎn)，你會(huì)遇到什么樣問(wèn)題。所以適應(yīng)性很重要，NSERC 也同樣適用。不過(guò)，當(dāng)你和一家公司簽訂合同時(shí)，倒不一定非得這樣。只要讓金主滿意就行，不必被自己說(shuō)過(guò)的話束縛住。在 NSERC 資助的情況下，基本上就是做好科學(xué)工作，發(fā)表文章，在科研道路上保持靈活。
GT：管理實(shí)驗(yàn)室時(shí)有哪些比較好的做法嗎?我們都知道你們有很多學(xué)生，很多設(shè)備，很多項(xiàng)目。
YB：尋求幫助。早期我沒(méi)法為博士后提供很多資助。所以我會(huì)選擇那些已經(jīng)知道這些東西的博士后，這樣他們就不需要兩年的時(shí)間來(lái)提升，并且可以幫助管理一個(gè)更大的團(tuán)隊(duì)。在攻讀博士學(xué)位時(shí)，我們不知道如何管理一個(gè)團(tuán)隊(duì)或領(lǐng)導(dǎo)一個(gè)團(tuán)隊(duì)，但我們覺(jué)得應(yīng)該這樣做。讓我受益匪淺的一件事就是發(fā)現(xiàn)學(xué)生在領(lǐng)導(dǎo)能力方面的天賦。我經(jīng)常發(fā)布實(shí)習(xí)機(jī)會(huì)，所以我的實(shí)驗(yàn)室有來(lái)自其他地方的本科生或研究生，也有想管理并擅長(zhǎng)于此的博士生。有些最終也不太擅長(zhǎng)管理;有些最終可以管理多個(gè)學(xué)生。有時(shí)候，年輕人的確比年長(zhǎng)的管理者做得更好。
GT：現(xiàn)在提供給博士后的工作種類越來(lái)越多，聘請(qǐng)高質(zhì)量的博士后是否變得越來(lái)越困難?
YB：這個(gè)不確定，畢竟我也不是一個(gè)很好的例子。
GT：好吧，但還是有很多人被吸引到這里。請(qǐng)問(wèn)您有什么判斷方法嗎?
YB：有一個(gè)方法對(duì)我來(lái)說(shuō)很有效，那就是找一個(gè)有數(shù)學(xué)或物理背景并且涉足機(jī)器學(xué)習(xí)的人：這些人可以很快學(xué)會(huì)這些技能。所以可以考慮讀博兩至三年的博士后，這類人值得招聘。他們目前還無(wú)法在 Google Brain 或其他類似的大公司找到工作，因?yàn)樗麄冞�沒(méi)有證明自己的機(jī)器學(xué)習(xí)能力。這是一場(chǎng)賭博，但在有些情況下對(duì)我很有利。
GT：你一般如何說(shuō)服博士后們?nèi)ソ邮芤粋�(gè)博士后的職位，而不是馬上進(jìn)入工業(yè)界呢?
YB：如果他們來(lái)到機(jī)器學(xué)習(xí)實(shí)驗(yàn)室并參與發(fā)表的研究，這將大大增加他們的工業(yè)價(jià)值。所以如果他們做博士后，即使以后他們想進(jìn)入工業(yè)界，他們也能獲得更好的職位，更高的薪水。當(dāng)然了，這因人而異。有些博士生并不需要博士后來(lái)獲得高薪職位，對(duì)吧?產(chǎn)生這種情況的原因可能是對(duì)方想從事學(xué)術(shù)工作，因?yàn)榻疱X并不是人們唯一關(guān)心的事情。做一個(gè)博士后實(shí)際上也很不錯(cuò)：可以了解更多關(guān)于學(xué)術(shù)界的事，可以參與管理，甚至寫作等等。
GT：在人員方面，你認(rèn)為理想的規(guī)模是多少?
YB：這取決于教授，以及他管理團(tuán)隊(duì)的經(jīng)驗(yàn)。我一開(kāi)始只有三個(gè)人，但現(xiàn)在我有一個(gè)龐大的團(tuán)隊(duì)。我不可能一下子做到這一點(diǎn)。所以我逐漸學(xué)會(huì)了如何管理更多的人，建立基礎(chǔ)設(shè)施，以及融資。你應(yīng)該根據(jù)自己的成長(zhǎng)速度來(lái)發(fā)展。有些人和五六個(gè)以上的學(xué)生在一起就會(huì)感到不舒服，這是說(shuō)得過(guò)去的。當(dāng)然，當(dāng)你有更多的學(xué)生時(shí)，你可以產(chǎn)生更多的論文。但是你花在每個(gè)學(xué)生身上的時(shí)間更少了，所以這對(duì)他們來(lái)說(shuō)可能沒(méi)有什么好處。
我曾與一個(gè)大團(tuán)隊(duì)友好共事 15 年的關(guān)鍵就是促進(jìn)合作。換句話說(shuō)，不要讓每個(gè)學(xué)生分散開(kāi)來(lái)做各自的項(xiàng)目，而是讓他們靈活地展開(kāi)新合作。那么他們就不是一對(duì)一的關(guān)系了，而是一個(gè)大網(wǎng)絡(luò)中的一部分。
GT：點(diǎn)對(duì)點(diǎn)通信是不?
YB：完全正確。更多的是社交價(jià)值。如果他們依靠一個(gè)人來(lái)獲得反饋，而這個(gè)人剛好這方面不是很在行的話，他們就會(huì)感覺(jué)不舒服。但如果他們有 10 個(gè)同事，就會(huì)建立一個(gè)更豐富的網(wǎng)絡(luò)。
GT：那么創(chuàng)建這種環(huán)境的機(jī)制是什么呢?我想可能有物理上的機(jī)制，也有微妙地改變實(shí)驗(yàn)室文化的活動(dòng)。
YB：物理上的親近：讓學(xué)生在實(shí)驗(yàn)室里而不是在家工作。給他們自由，除了你的項(xiàng)目之外，他們可以與其他教授合作，完成新的項(xiàng)目。減少學(xué)生與不同教授之間的隔閡。這樣可以使得學(xué)生群體更強(qiáng)大，學(xué)生可以自由地與其他教師進(jìn)行討論。然后我們組織定期的活動(dòng)，如閱讀小組，研討會(huì)和課外活動(dòng)。
GT：最近，我與一位在美國(guó)工作過(guò)的人進(jìn)行了一次關(guān)于合作監(jiān)管的對(duì)話。這位人士說(shuō)，在美國(guó)，監(jiān)管人員的第一個(gè)話題是資金如何分配。而在加拿大，這個(gè)問(wèn)題還沒(méi)提出來(lái)。
YB：這里的學(xué)生比美國(guó)便宜很多，這是一個(gè)很大的因素，是吧?但也許這也是一種文化問(wèn)題。放下資金方面的事情，優(yōu)先合作，而不是抱著期望工作，這點(diǎn)很重要。
在主實(shí)驗(yàn)室，我們有一個(gè)非正式的概念：有一個(gè)大的資金池，你可以和任何人合作，無(wú)論怎樣你都會(huì)得到資助。
GT：這是因?yàn)閰⑴c項(xiàng)目的主要研究人員決定資金池的運(yùn)用嗎?
YB：雖然我的資金變成了公共資金池，這并不是一種固定模式，但如果項(xiàng)目里有一位資深教授的話，通常更容易獲得資金。所以項(xiàng)目組在向我請(qǐng)求資金時(shí)，我們寫的是贈(zèng)款。合同也是一樣。
GT：找到自己的領(lǐng)域?qū)τ谛陆虇T來(lái)說(shuō)非常重要——是否要去一個(gè)沒(méi)有其他人的領(lǐng)域工作?或者去一個(gè)已有教員和資深研究者的地方與他們合作?
YB：是的。去一個(gè)現(xiàn)有的團(tuán)體要容易得多，只要你能和團(tuán)隊(duì)的主要成員和睦相處。對(duì)于初級(jí)教員來(lái)說(shuō)，如果他們喜歡這個(gè)團(tuán)隊(duì)的精神，那就可以很輕易地開(kāi)展工作。他們不必?fù)?dān)心資金問(wèn)題，可以提出想法，共同督導(dǎo)，還可以在工作初期獲得反饋。
GT：我想談?wù)務(wù)猩鷨?wèn)題。在最近的深度學(xué)習(xí)熱潮之前，情況可能有所不同。當(dāng)你不太感興趣時(shí)，你會(huì)如何回應(yīng)? 而當(dāng)你很有興趣時(shí)，你又會(huì)怎么做?
YB：首先，要做的不僅僅是做研究，同時(shí)還要被大家熟知。參加研討會(huì)和會(huì)議，參觀其他實(shí)驗(yàn)室。你不必等著被邀請(qǐng)。你可以說(shuō)，「嘿，我要去那個(gè)地方。要我去做演講嗎?「然后你就能在網(wǎng)絡(luò)中被人所知。如果你想要通過(guò)贈(zèng)款進(jìn)行正式合作，同樣，這也會(huì)涉及到網(wǎng)絡(luò)方面。
這對(duì)招聘和教學(xué)都有很大幫助。教學(xué)的一個(gè)潛在影響就是學(xué)生會(huì)了解你。尤其是你的研究生班或者本科生畢業(yè)班。你可以談?wù)撃汴P(guān)心的事情并建立關(guān)系。你可以看到一些有潛力的學(xué)生，并試圖說(shuō)服他們到你的實(shí)驗(yàn)室。
所以我從大學(xué)和其他地方找了一些暑期實(shí)習(xí)生。這樣，你就能看到一個(gè)人是否有研究的潛力。這樣做比從一場(chǎng)面試中招聘一個(gè)人要安全得多，畢竟這個(gè)人會(huì)在這里待五年，對(duì)吧?
當(dāng)然，我想去年這里大概有 700 份申請(qǐng)，今年可能會(huì)有 1000 份，申請(qǐng)渠道就有幾十個(gè)。所以你必須有條理。你需要秘書的幫助，需要那些定計(jì)劃的人來(lái)確保這份工作的流程自動(dòng)化。如果你不這樣做，那事情就會(huì)變得很難辦了，因?yàn)槟銜?huì)被大量的應(yīng)用程序淹沒(méi)，不能親自回復(fù)每一封電子郵件。
GT：最后我們要討論的是產(chǎn)業(yè)合作。你怎么知道合作是否合適?
YB：一開(kāi)始你是不知道的，一般要在幾年后才意識(shí)到。通常情況下，雙方的期望都不匹配，所以你必須小心謹(jǐn)慎，并提醒業(yè)內(nèi)人士，告訴他們學(xué)術(shù)界能為他們做些什么。重要的是，他們要明白，學(xué)者不是廉價(jià)勞動(dòng)力。他們不生產(chǎn)產(chǎn)品，但卻可能會(huì)有變革商業(yè)的驚人創(chuàng)意。因此，業(yè)界需要明白，這只是投資的一部分。他們還必須讓人從算法和原型出發(fā)理解產(chǎn)品，否則合作注定失敗。我們總是不太想去討論這個(gè)問(wèn)題，因?yàn)檫@意味著公司的成本會(huì)增加。但是你必須這么做。
GT：你是否曾被迫與公司解約?
YB：沒(méi)有，一般是雙方都認(rèn)為沒(méi)必要續(xù)簽合同。
GT：我猜他們通常有固定的期限?
YB：是的，合同通常是 1 年，2 年或 3 年。
GT：最后，還有什么我們沒(méi)有注意到的，你想和新教員分享的嗎?
YB：要多傾聽(tīng)自己的直覺(jué)。許多人缺乏必要的自信，因此錯(cuò)過(guò)了機(jī)會(huì)。作為研究人員，我們的主要工作是提出一些有用的想法來(lái)推動(dòng)知識(shí)的進(jìn)步。這些想法總是隱藏在我們大腦的某個(gè)地方，我們必須培養(yǎng)自己的能力，給這些想法足夠的孕育時(shí)間。你需要一周的時(shí)間去思考，而不是去編程、寫作甚至閱讀。就想想那些困擾你的大問(wèn)題就行。
GT：謝謝你!我認(rèn)為你說(shuō)的很多內(nèi)容都是我在工作的幾年里學(xué)到的最重要的經(jīng)驗(yàn)。但如果有人能在一兩年后看到這一點(diǎn)，那就很有價(jià)值了。就像你說(shuō)的，你并沒(méi)有被訓(xùn)練成一個(gè)領(lǐng)導(dǎo)實(shí)驗(yàn)室的博士。
原文鏈接：https://www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio?platform=hootsuite
標(biāo)簽： Google 安全 電子郵件 通信 網(wǎng)絡(luò)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
