人工智能頂級會議 ICML 2018 即將于 7 月 10 日至 15 日在瑞典首都斯德哥爾摩舉行。昨天，大會提前公布了最佳論文獲獎名單，在超過 600 篇被接收論文中，來自 MIT 和 UC Berkeley 的研究人員分享了最佳論文的殊榮。值得一提的是，此前攻破 ICLR 2018 大會七篇對抗樣本防御方法的研究眾望所歸地成為了最佳論文。

而復(fù)旦大學(xué)副教授黃增峰一人署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》則和 DeepMind、斯坦福大學(xué)的兩篇論文一同位居「亞軍」論文行列。

 

 

Best Paper Awards

來自 MIT 的 Anish Athalye 與來自 UC Berkely 的 Nicholas Carlini 和 David Wagner 獲得了最佳論文。早在今年 2 月份，這項攻破 ICLR 2018 七篇對抗樣本防御論文的研究就引起了深度學(xué)習(xí)社區(qū)的熱烈討論。該研究定義了一種被稱為「混淆梯度」(obfuscated gradients)的現(xiàn)象。在面對強大的基于優(yōu)化的攻擊之下，它可以實現(xiàn)對對抗樣本的魯棒性防御。這項研究引起了深度學(xué)習(xí)社區(qū)的討論，GAN 提出者 Ian Goodfellow 也參與其中。機器之心曾對此做過報道。

論文：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

 

 

論文地址：https://arxiv.org/abs/1802.00420

項目地址：https://github.com/anishathalye/obfuscated-gradients

摘要：我們發(fā)現(xiàn)了一種「混淆梯度」(obfuscated gradient)現(xiàn)象，它給對抗樣本的防御帶來虛假的安全感。盡管基于混淆梯度的防御看起來擊敗了基于優(yōu)化的攻擊，但是我們發(fā)現(xiàn)依賴于此的防御并非萬無一失。對于我們發(fā)現(xiàn)的三種混淆梯度，我們會描述展示這一效果的防御指標，并開發(fā)攻擊技術(shù)來克服它。在案例研究中，我們試驗了 ICLR 2018 接收的 8 篇論文，發(fā)現(xiàn)混淆梯度是一種常見現(xiàn)象，其中有 7 篇論文依賴于混淆梯度，并被我們的這一新型攻擊技術(shù)成功攻克。

來自 UC Berkeley EECS 的 Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz 和 Moritz Hardt 的論文同樣也獲得了最佳論文獎。由于機器學(xué)習(xí)系統(tǒng)易受到數(shù)據(jù)偏見而導(dǎo)致歧視性行為，人們認為有必要在某些應(yīng)用場景中用公平性準則約束系統(tǒng)的行為，并期待其能保護弱勢群體和帶來長期收益。該研究探索了靜態(tài)公平性準則的長期影響，發(fā)現(xiàn)結(jié)果和人們的期望相去甚遠。

論文：Delayed Impact of Fair Machine Learning

 

 

論文地址：https://arxiv.org/abs/1803.04383

摘要：機器學(xué)習(xí)的公平性主要在靜態(tài)分類設(shè)置中得到研究，但沒有關(guān)注這些決策如何隨時間改變潛在的群體。傳統(tǒng)的觀點認為公平性準能提升他們想保護的群體的長期利益。

我們研究了靜態(tài)公平性標準如何與暫時的利益指標相互作用，例如利益變量的長期提升、停滯和下降。我們證實了即使在一步反饋模型中，常見的公平性準則沒有隨時間帶來改善，并可能實際上給特定案例帶來傷害(無約束的目標函數(shù)反而不會)。

我們完整地總結(jié)了三個標準準則的延遲影響，對照了和這些準則的行為存在質(zhì)的不同的制度。此外，我們發(fā)現(xiàn)一種自然形式的度量誤差可以放寬公平性準則能夠在其中順利執(zhí)行的制度。

我們的結(jié)果強調(diào)了評估公平性準則的度量和時序建模的重要性，展示了一系列的新挑戰(zhàn)和權(quán)衡問題。

BAIR 博客此前曾經(jīng)介紹過這篇論文，參見：前沿 | BAIR 探索機器學(xué)習(xí)公平準則的長期影響：對弱勢群體的善意真的種出了善果?

Best Paper Runner Up Awards

在最佳論文亞軍(Runner Up)論文中，復(fù)旦大學(xué)數(shù)據(jù)科學(xué)學(xué)院副教授黃增峰完成的在線流(online streaming)算法獲得了這一榮譽，黃增峰為這篇論文的唯一作者。該論文討論的這種在線流算法可以在只有非常小的協(xié)方差誤差的情況下，從大型矩陣抽取出最能近似它的小矩陣。

論文：Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

 

 

論文地址：http://203.187.160.132:9011/www.cse.ust.hk/c3pr90ntc0td/~huangzf/ICML18.pdf

摘要：給定一個 n×d 維的大型的矩陣 A，我們考慮計算一個 l×d 維的概要矩陣(sketch matrix)B，概要矩陣的維度 l 要顯著小于原矩陣 A，但它仍是矩陣 A 優(yōu)良的近似。我們希望最小化協(xié)方差誤差：

 

 

現(xiàn)在我們考慮流模型(streaming model)中的問題，其中的算法只能在有限的工作空間內(nèi)傳輸輸入一次。而流行的 Frequent Directions 算法(Liberty, 2013)與它的變體實現(xiàn)了最優(yōu)空間和誤差間的權(quán)衡。然而運行時間是否能提升還是一個懸而未決的問題。在本論文中，我們幾乎可以解決這個問題的時間復(fù)雜度。特別是，我們提供了有更快運行時間的新型空間-最優(yōu)(space-optimal)算法。此外，除非矩陣乘法的當(dāng)前最優(yōu)運行時間能顯著提升，否則我們算法的運行時間是近似最優(yōu)的(near-optimal)。

對于大規(guī)模矩陣運算，精確的算法通常會非常慢，因此有非常多的研究聚焦于設(shè)計一種快速的隨機近似算法。為了加速計算，采用小矩陣近似大矩陣的矩陣概要是常用的技術(shù)。而在實際應(yīng)用中，數(shù)據(jù)通常以流式的形式傳輸，將整個數(shù)據(jù)集儲存在主內(nèi)存中通常是不切實際和不可能的。

在本論文中，作者黃增峰研究了在小的協(xié)方差下保留概要矩陣的在線流算法。在流模型中，輸入矩陣的行秩能一次降低到 1;該算法只允許在有限的工作空間內(nèi)傳輸一次，這是持續(xù)保留概要矩陣所必須的。

流行的 Frequent Directions 算法在空間占用和近似誤差間實現(xiàn)了最優(yōu)的權(quán)衡，該算法目前已經(jīng)廣泛應(yīng)用于在線學(xué)習(xí)。然而，我們?nèi)匀徊惶�清楚它們的運行時間是否能提升，也許我們只能寄希望于得到線性(稀疏)時間的算法，這在很多矩陣問題上是可能的。本論文主要由以下問題驅(qū)動：

是否存在輸入稀疏時間的 Frequent Directions 算法，能夠?qū)崿F(xiàn)同等最優(yōu)的空間-誤差權(quán)衡?

以下展示了黃增峰提出的主要算法，他的核心思想是在原始 FD 中使用快速逼近的 SVD，產(chǎn)生次優(yōu)的時間。

 

 

來自 DeepMind 和牛津大學(xué)的研究者也獲得了 Best Paper Runner Up Awards。

論文：The Mechanics of n-Player Differentiable Games

作者：David Balduzzi, Sebastien Racaniere, James Martens, Jakob Foerster, Karl Tuyls, Thore Graepel

 

 

論文地址：https://arxiv.org/abs/1802.05642

摘要：支撐深度學(xué)習(xí)的基石是保證目標函數(shù)能利用梯度下降收斂到局部極小值。不幸的是，這個保證在某些情況下會失效，例如生成對抗網(wǎng)絡(luò)，其中有多個交互損失。在博弈中，基于梯度的方法的行為并沒有得到很好的理解，隨著對抗性和多目標架構(gòu)的數(shù)量激增，這變得越來越重要。在這篇論文中，我們開發(fā)了新的技術(shù)來理解和控制一般博弈中的動態(tài)。主要的結(jié)果是將二階動態(tài)分解為兩個部分。第一個和潛博弈(potential game)相關(guān)，可以用內(nèi)含的函數(shù)簡化為梯度下降;第二個和哈密頓博弈相關(guān)，這是一種新的博弈類型，遵循一種守恒定律——類似于經(jīng)典力學(xué)系統(tǒng)中的守恒定律。該分解啟發(fā)了辛梯度調(diào)整(Symplectic Gradient Adjustment，SGA)，這是一種用于尋找一般博弈中的穩(wěn)定不動點的新算法�；�礎(chǔ)實驗表明 SGA 的性能和近期提出的尋找 GAN 穩(wěn)定不動點的算法不相上下，同時可以應(yīng)用到更多的一般博弈中，并保證收斂性。

同樣獲得該榮譽的還有來自斯坦福大學(xué)的研究者。

論文：Fairness Without Demographics in Repeated Loss Minimization

作者：Tatsunori Hashimoto, Megha Srivastava, Hongseok Namkoong, Percy Liang

 

 

論文地址：https://arxiv.org/abs/1806.08010

摘要：機器學(xué)習(xí)模型(如語音識別器)通常被訓(xùn)練以最小化平均損失，這導(dǎo)致了表征差異(representation disparity)——少數(shù)群體(如非母語說話者)對訓(xùn)練目標函數(shù)的貢獻較少，并因此帶來了更高的損失。更糟糕的是，由于模型準確率會影響用戶保留，因此少數(shù)群體的數(shù)量會隨著時間而日益減少。本論文首先展示了經(jīng)驗風(fēng)險最小化(ERM)的現(xiàn)狀放大了表征差異，這甚至使得最初公平的模型也變得不公平了。為了緩解這一問題，我們開發(fā)了一種基于分布式魯棒優(yōu)化(distributionally robust optimization，DRO)的方法，可以最小化所有分布上的最大風(fēng)險，使其接近經(jīng)驗分布。我們證明了該方法可以控制每個時間步的少數(shù)群體風(fēng)險，使其符合羅爾斯分配正義，同時該方法對群體的標識并不清楚。我們證明 DRO 可以阻止樣本的表征差異擴大，而這是 ERM 做不到的，我們還在現(xiàn)實世界的文本自動完成任務(wù)上證明了該方法對少數(shù)群體用戶滿意度的改進。

標簽： isp seo 安全 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。