機器學習研究的四大危機
2018-07-13 來源：raincent
學術界在大家的印象里一般是很嚴肅的，但近期AI頂會ICML在斯德哥爾摩舉辦了一個辯論會—Machine Learning: The Great Debates (ML-GD)，專供各家學者、研究人員積極探討領域內技術的現(xiàn)狀、瓶頸及對社會的影響。
有AI小網(wǎng)紅之稱的Zachary C.Lipton攜手斯坦福研究員Jacob Steinhardt發(fā)表了參會的論文《Troubling Trends in Machine Learning Scholarship》，并發(fā)推文，引發(fā)了熱烈的討論。
觀點提出背景
機器學習(ML)研究人員正在致力于有關“數(shù)據(jù)驅動算法”知識的創(chuàng)建和傳播。據(jù)研究，許多研究人員都渴望實現(xiàn)以下目標：
理論性闡述可學習內容
深入理解經(jīng)驗嚴謹?shù)膶嶒?/p>
構建一個有高預測精度的工作系統(tǒng)
雖然確定哪些知識值得探究是很主觀的，但是一旦主題確定，當論文為讀者服務時，它對社區(qū)最有價值，它能創(chuàng)造基礎知識并盡可能清楚地進行闡述。
什么樣的論文更適合讀者呢?我們可以列出如下特征：這些論文應該
(i)提供直觀感受以幫助讀者理解，但應明確區(qū)別于已證明的強有力結論;
(ii)闡述考量和排除其他假設的實證調查 ;
(iii)明確理論分析與直覺或經(jīng)驗之間的關系 ;
(iv)利用語言幫助讀者理解，選擇術語以避免誤解或未經(jīng)證實的內容，避免與其他定義沖突，或與其他相關但不同的概念混淆。
機器學習研究中的四大危機
盡管機器學習最近取得了一些進展，但這些“理想”狀態(tài)往往與現(xiàn)實背離。在這篇文章中，我們將重點放在以下四種模式上，這些模式在ML學術(schoolar-ship)中似乎是最流行的:
1. 無法區(qū)分客觀闡述和推測。
2. 無法確定得到較好結果的原因，例如，當實際上是因為對超參數(shù)微調而獲得好效果的時候，卻強調不必要修改神經(jīng)網(wǎng)絡結構。
3. 數(shù)學公式堆積：使用令人混淆的數(shù)學術語而不加以澄清，例如混淆技術與非技術概念。
4. 語言誤用，例如，使用帶有口語的藝術術語，或者過多的使用既定的技術術語。
雖然這些模式背后的原因是不確定的，但會導致社區(qū)的迅速擴張、評閱的人數(shù)不足，以及學術和短期成功衡量標準(如文獻數(shù)量、關注度、創(chuàng)業(yè)機會)之間經(jīng)常出現(xiàn)的不平衡。雖然每種模式都提供了相應的補救措施(但不建議這么做)，我們還將討論一些關于社區(qū)如何應對這些趨勢的推測性建議。
有缺陷的學術研究可能會誤導大眾，并阻礙學術未來的研究。實際上，這些問題有許多是在人工智能的歷史(更廣泛地說，是在科學研究)中循環(huán)出現(xiàn)的。1976年，Drew Mc-Dermott[1]指責人工智能社區(qū)放棄了自律，并預言“如果我們不能批判自己，別人就會幫我們解決問題”。
類似的討論在整個80年代、90年代和2008年都反復出現(xiàn)[2,3,4]。在心理學等其他領域，糟糕的實驗標準削弱了人們對該學科權威的信任。當今機器學習的強勁潮流歸功于迄今為止大量嚴謹?shù)难芯�，包括理論研究[5,6,7]和實證研究[8,9,10]。通過提高清晰明了的科學思維和交流，我們可以維持社區(qū)目前所享有的信任和投資。
總結
可能有人會認為這些問題可以通過自律、自我糾正來改善。這個觀點雖然是正確的，但是機器學習社區(qū)需要反復討論如何構建合理的學術標準以實現(xiàn)這種自我修正。
文獻原文地址：https://www.dropbox.com/s/ao7c090p8bg1hk3/Lipton%20and%20Steinhardt%20-%20Troubling%20Trends%20in%20Machine%20Learning%20Scholarship.pdf?dl=0
參考文獻：
[1]Drew McDermott.Artificial Intelligence meets natural stupidity. ACM SIGART Bulletin,(57):4-9,1976.
[2]Timothy G Armstrong, Alistair Moffat, William Webber, and Justin Zobel. Improvements that don’t add up: ad-hoc retrieval results since 1998. In Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009.
[3]Paul R Cohen and Adele E Howe. How evaluation guides ai research: The message still counts more than the medium. AI magazine , 9(4):35, 1988.
[4]RE Korf. Does deep blue use articial intelligence? ICGA Journal , 20(4):243{245, 1997.
[5]Leon Bottou and Olivier Bousquet. The tradeos of large scale learning. In Advances in neural information processing systems (NIPS) , 2008.
[6]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research (JMLR) , 12(Jul), 2011.
[7]Yoav Freund and Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences , 55(1):119{139, 1997.
[8]James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research (JMLR) , 13(Feb), 2012.
[9]Xavier Glorot and Yoshua Bengio. Understanding the diculty of training deep feedforward neural networks. In International conference on articial intelligence and statistics (AISTATS) ,2010.
[10]Kevin Jarrett, Koray Kavukcuoglu, Yann LeCun, et al. What is the best multi-stage architecture for object recognition? In International Conference on Computer Vision (ICCV) . IEEE, 2009.
標簽： 網(wǎng)絡
版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。
