識(shí)別 PS 照片的問題，還是需要依靠推出 PS 的公司 Adobe 來解決。
 

現(xiàn)在的社交媒體上充斥著各種自拍，而且其中大部分人物都長(zhǎng)得挺好看。但大家心知肚明的是，這些照片大多被 P 過。有很多人甚至因?yàn)?P 得一手堪比「整容」的照片而走紅。

雖然只是出于愛美之心，但不可否認(rèn)的一個(gè)事實(shí)是，這些「照騙」的盛行，的確讓我們對(duì)社交媒體的信任日漸下降。

隨著技術(shù)的發(fā)展和流行，制作這種假照片的門檻越來越低，幾乎人人都可以是修圖大師，更不用說手機(jī)廠商和科技公司已經(jīng)有實(shí)時(shí) AI 美顏技術(shù)了。

如果有人利用 P 過的圖來行騙，成功率估計(jì)也會(huì)相應(yīng)提高。

 

 

那我們要如何識(shí)別這些被 P 過的照片呢?

眾所周知，PS 是美國(guó)公司 Adobe 推出的一款專業(yè)圖形編輯軟件 Photoshop 的簡(jiǎn)稱。自 1990 年發(fā)布之后，Photoshop 已經(jīng)成為創(chuàng)造力和藝術(shù)表達(dá)進(jìn)步的重要組成部分，甚至廣泛影響了我們的視覺文化。但誰曾想到作為「萬惡之源」的 Adobe 也在研究破解 PS 的方式。

最近，Adobe 的研究人員和來自 UC Berkeley 的合作者開發(fā)了一種檢測(cè)圖像 PS 痕跡的方法。該方法效果如何呢?請(qǐng)先看下圖：

 

 

如果對(duì)比左右兩張圖，你可能會(huì)發(fā)現(xiàn)右圖的臉頰更寬，而左圖中更瘦，尤其是靠近下巴一塊;右圖的嘴角下垂，而左圖嘴唇是微笑的狀態(tài)。

但如果只看左圖呢?你能看出來臉頰被 P 過的痕跡嗎?可能下巴左邊 P 得過了點(diǎn)，往里凹了一塊，有點(diǎn)明顯;但右邊 P 得算是不錯(cuò)了，不太明顯，小編看了半天才發(fā)現(xiàn)(可對(duì)比右臉下方邊緣至旁邊白色圓圈的距離)。

但是你看中圖的檢測(cè)分析，該方法圈出了右邊嘴角和左臉頰下方的 PS 痕跡，且右臉頰下方用紅色標(biāo)注了。

此外，研究人員通過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，人工檢測(cè) PS 照片的準(zhǔn)確率僅為 53%，而他們提出的方法檢測(cè) PS 照片的準(zhǔn)確率高達(dá) 99%。

 

 

準(zhǔn)確率對(duì)比。

算法原理

這項(xiàng)研究利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別「修」過的人臉圖片，由 Adobe 研究科學(xué)家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 與 Alexei A. Efros 參與完成。

Adobe 之前對(duì) PS 圖像的檢測(cè)工作主要集中在拼接、移除、復(fù)制方面，而這項(xiàng)研究主要針對(duì) Adobe Photoshop 自帶的功能「臉部感知液化」(Face Aware Liquify)。

臉部感知液化可以先識(shí)別人臉五官，然后用戶可以使用它進(jìn)行相應(yīng)的修改，如眼睛大小、額頭寬窄、瘦臉、鼻高等，還可以輕松調(diào)出微笑唇。

 

 

Liquify 工具堪稱修圖神器，而且使用起來也非常簡(jiǎn)單。

果然是「以子之矛攻子之盾」啊，Adobe 這項(xiàng)新研究對(duì)自己之前推出的「美顏」功能下手了!

根據(jù) Adobe 博客介紹，這項(xiàng)新研究試圖解決以下基本問題：

是否可以創(chuàng)建一個(gè)比人類識(shí)別「修圖」還可靠的工具?

該工具能否指出到底「修」了哪兒?

能否撤回對(duì)原圖的「修改」?

 

 

還是以上文的人臉圖像為例，右一為原圖，左一為 PS 后的圖像(Manipulated photo)，左二展示了 Adobe 這項(xiàng)新研究的功力：它發(fā)現(xiàn)了修圖的具體位置(Detected manipulations)，那么右二是什么呢?

仔細(xì)觀察右一和右二，區(qū)別大嗎?

Adobe 這項(xiàng)新研究把修過的地方又修回去了!

對(duì)比左一、右二和右一，可以看到，三張圖存在一些細(xì)微差別。三張圖的嘴角弧度不同，原圖很明顯是下垂的，而修過的圖片則是微笑唇，撤銷修圖后的圖片嘴角弧度則處于中間狀態(tài)。

這些圖像被 P 過嗎?

研究人員訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，以識(shí)別出修改過的人臉圖像。具體而言，他們使用為 ImageNet 分類任務(wù)訓(xùn)練的 ResNet50 [13] 架構(gòu)，然后針對(duì)該任務(wù)進(jìn)行微調(diào)。

另外，他們通過編寫 Photoshop 腳本創(chuàng)建了圖像訓(xùn)練集，以在數(shù)千幅抓取自網(wǎng)絡(luò)的照片上進(jìn)行臉部感知液化調(diào)整。

研究人員隨機(jī)選擇這些照片的子集進(jìn)行訓(xùn)練。他們還請(qǐng)了一名美術(shù)師來手動(dòng)修改一些圖像，并將這些圖像混入了數(shù)據(jù)集中。這樣的做法拓寬了測(cè)試集中圖像的修改和技術(shù)范圍，超出了那些合成圖像。

 

 

該研究所用數(shù)據(jù)集的具體數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)集中的隨機(jī)樣本示例如下圖所示：

 

 

Adobe 研究人員 Oliver 表示：「我們首先向人們展示一對(duì)圖像(修改前和修改后)，他們知道其中一幅圖像被修改過。若我們的方法能夠行之有效，那它在識(shí)別編輯過的人臉時(shí)效果應(yīng)顯著優(yōu)于人類�！�

實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，人工檢測(cè) PS 照片的準(zhǔn)確率僅為 53%，而他們提出的方法檢測(cè) PS 照片的準(zhǔn)確率高達(dá) 99%。

到底動(dòng)了哪兒?能還原回去嗎?

這個(gè)工具還能確定面部修改的特定區(qū)域和方法。此外，在實(shí)驗(yàn)中，該工具可以將修改后的圖像還原至它們初始狀態(tài)，還原效果相當(dāng)不錯(cuò)。

具體而言，研究人員預(yù)測(cè)從原圖 X_orig ∈ R^(H×W×3) 到修改后的圖 X 的光流場(chǎng)(optical flow field)Uˆ ∈ R^(H×W×2)。之后，研究人員嘗試「撤銷」修改，將圖像恢復(fù)為原圖。

研究人員訓(xùn)練了一個(gè)光流場(chǎng)預(yù)測(cè)模型 F 來預(yù)測(cè)像素扭曲場(chǎng)(perpixel warping field)，衡量其與每個(gè)樣本真實(shí)光流場(chǎng) U 之間的距離(通過計(jì)算原圖和修改后的圖之間的光流得到)。

下圖展示了光流場(chǎng)的一些示例。

 

 

損失函數(shù)公式如下所示：

 

 

其中，X 是修改后的圖像，U 是真值光流場(chǎng)，L_epe 表示光流場(chǎng)之間的誤差。

研究者試圖使光流場(chǎng)更加平滑流暢，于是使用以下?lián)p失函數(shù)：

 

 

UC Berkeley 的教授 Alexei A. Efros 說道：「這聽起來似乎是不可能的，因?yàn)槊娌繋缀涡螤畲嬖谥�大量的變化。但如果深度學(xué)習(xí)能夠查看低級(jí)圖像數(shù)據(jù)(如扭曲偽像)和高級(jí)線索(如面部布局)，那這種方法似乎是行之有效的�！�

那么如何「撤回」對(duì)圖像的修改呢?

我們現(xiàn)在已經(jīng)預(yù)測(cè)到了原始圖像到修改圖像的光流場(chǎng)，基于此，就可以通過「逆扭曲」來恢復(fù)原圖。重建損失函數(shù)為：

 

 

而直接使用該重建損失函數(shù)會(huì)導(dǎo)致低紋理區(qū)域出現(xiàn)模糊和偽影，于是研究者聯(lián)合訓(xùn)練以上三個(gè)損失函數(shù)：

 

 

總之，在架構(gòu)層面上，研究人員使用在 ImageNet 數(shù)據(jù)集上訓(xùn)練的 Dilated Residual Network variant (DRN-C-26) [37] 作為基礎(chǔ)網(wǎng)絡(luò)，來進(jìn)行局部預(yù)測(cè)。

至于光流場(chǎng)回歸網(wǎng)絡(luò)，研究者首先將該問題重塑為多項(xiàng)式分類，然后再針對(duì)光流場(chǎng)回歸進(jìn)行微調(diào)。在計(jì)算真值光流場(chǎng)時(shí)，研究者使用的是 PWC-Net [32]。

應(yīng)用何時(shí)上線?

Richard 補(bǔ)充道：「制作一個(gè)神奇的「撤銷」按鈕來恢復(fù)圖像編輯的想法離現(xiàn)實(shí)還很遙遠(yuǎn)。但在我們生活的這個(gè)世界里，人們?cè)絹碓诫y以信任自己消費(fèi)的數(shù)字信息，所以我們非常期待這一領(lǐng)域的進(jìn)一步研究。

 

 

我們看到的明星照片大多經(jīng)過了 PS。

與此同時(shí)，Adobe 正在進(jìn)行大量研究項(xiàng)目，以幫助驗(yàn)證自身產(chǎn)品所創(chuàng)建的數(shù)字媒體的真實(shí)性，并識(shí)別和阻止濫用現(xiàn)象。

Adobe Research 負(fù)責(zé)人 Gavin Miller 表示：「該方法在檢測(cè)某些類型的圖像編輯領(lǐng)域邁出了重要一步，同時(shí)撤銷功能的效果也出奇得好。但除了這種人臉識(shí)別方法，有經(jīng)驗(yàn)的公眾才是最好的圖像鑒定者�！�

Adobe 目前還沒有立即將這項(xiàng)研究成果轉(zhuǎn)變?yōu)樯虡I(yè)產(chǎn)品的計(jì)劃，一位發(fā)言人表示，這只是 Adobe 在更好地檢測(cè)圖像、視頻、音頻和文檔操作方面的眾多努力之一。

不過算法已經(jīng)推出，應(yīng)用還會(huì)遠(yuǎn)嗎?看來解決 AI 造假的問題還是要靠 AI。

參考內(nèi)容：

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。