MIT最新的項(xiàng)目“RF-Pose”使用了人工智能技術(shù)來教無線設(shè)備感知人們的姿態(tài)和移動(dòng)，甚至隔了一堵墻也能做到。

X射線視覺長期以來一直被當(dāng)作難以置信的科學(xué)幻想，但在最近十年來MIT的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)教授Dina Katabi帶領(lǐng)的團(tuán)隊(duì)一直在試圖讓我們能實(shí)現(xiàn)穿墻透視。

他們最新的項(xiàng)目“RF-Pose”使用了人工智能技術(shù)來教無線設(shè)備感知人們的姿態(tài)和移動(dòng)，甚至隔了一堵墻也能做到。

研究者使用了一個(gè)神經(jīng)網(wǎng)絡(luò)來分析人們的身體反射的無線電信號，然后可以創(chuàng)建一個(gè)隨人類動(dòng)作而同步的動(dòng)態(tài)火柴人行走、停下、坐下和移動(dòng)肢體的圖像。

 

 

該團(tuán)隊(duì)稱RF-Pose可以用于監(jiān)控疾病，例如帕金森氏癥、多發(fā)性硬化癥和肌肉萎縮癥等，從而提供對病情發(fā)展的更好理解，讓醫(yī)生能根據(jù)情況調(diào)整用藥。它還可以幫助老年人更加獨(dú)立地生活，同時(shí)提供對摔倒、受傷和活動(dòng)模式變化等狀況的監(jiān)控。該團(tuán)隊(duì)目前正與醫(yī)生合作探索RF-Pose在醫(yī)療中的應(yīng)用。

該團(tuán)隊(duì)收集的所有數(shù)據(jù)都經(jīng)過了實(shí)驗(yàn)對象的同意，并經(jīng)過匿名化和加密以保護(hù)用戶隱私。對于未來的現(xiàn)實(shí)應(yīng)用，他們計(jì)劃實(shí)現(xiàn)一種“同意機(jī)制”，其中安裝了設(shè)備的人們可以通過做出一系列的動(dòng)作以提示設(shè)備開始監(jiān)控環(huán)境。

“我們發(fā)現(xiàn)監(jiān)測病人步行速度和基本活動(dòng)的能力為醫(yī)療服務(wù)提供了一個(gè)全新窗口，這對于所有疾病的治療都非常有意義，”Katabi表示，他是有關(guān)本研究的論文《Through-Wall Human Pose Estimation Using Radio Signals》的作者之一。“我們提出的方法具有一個(gè)重大優(yōu)勢：它不需要病人佩戴傳感器，并時(shí)刻保持它們充電。”

除了醫(yī)療外，該團(tuán)隊(duì)還表示RF-Pose可用于新型視頻游戲，其中玩家可在房間周圍移動(dòng)。當(dāng)然也可以用于搜救任務(wù)，以幫助搜救人員快速找到幸存者。

這項(xiàng)研究作者是Dina Katabi教授和她的博士生趙明民(第一作者)、MIT教授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鴻、田永龍和趙行。相關(guān)的研究論文已經(jīng)被CVPR 2018接收，他們將CVPR 2018上展示這項(xiàng)工作。

研究人員需要解決的一個(gè)問題即訓(xùn)練數(shù)據(jù)，因?yàn)榇蠖鄶?shù)神經(jīng)網(wǎng)絡(luò)都是使用手工標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而這項(xiàng)研究者工作的數(shù)據(jù)是沒有現(xiàn)成的。例如在一般的圖像分類中，我們可以輕松獲得大型標(biāo)注數(shù)據(jù)集，它可能標(biāo)注每張圖片到底包含還是不包含“貓”。而這一項(xiàng)研究中的無線電信號很難手工標(biāo)注，這也就造成了數(shù)據(jù)問題。

為了解決這個(gè)問題，研究員使用無線設(shè)備和相機(jī)收集了大量的樣本。他們收集了成千上萬張人類活動(dòng)的圖片，如走路、交談、開門和等電梯等。然后他們從這些圖片中抽取出棒狀的人體圖以及相應(yīng)的無線電信號。這些組合樣本使得系統(tǒng)能學(xué)習(xí)無線電信號與棒狀人物圖之間的關(guān)系。

在訓(xùn)練結(jié)束后，RF-Pose能在沒有相機(jī)輸入圖像的情況下抽取棒狀特征，并只使用無線反射信號評估人體的姿勢與行動(dòng)等。

因?yàn)橄鄼C(jī)不能透視墻體，神經(jīng)網(wǎng)絡(luò)就無法明確的從來自墻另一邊的數(shù)據(jù)訓(xùn)練。這也是讓MIT的研究人員驚訝的地方：神經(jīng)網(wǎng)絡(luò)能夠歸納自己的知識，從而掌握墻后的動(dòng)作。

Torralba說，「如果你把計(jì)算機(jī)視覺系統(tǒng)當(dāng)作老師，這就是學(xué)生超越老師的完美示例�！�

 

 

上圖是一個(gè)單人識別的例子，展示了MIT提出的系統(tǒng)在人走到墻后，甚至完全被墻遮擋后的識別結(jié)果。最上面一行：與無線電傳感器配套的攝像頭拍攝的圖像;中間一行：僅從RF信號提取的關(guān)鍵點(diǎn)置信圖，沒有任何視覺輸入;下面一行：從關(guān)鍵點(diǎn)置信圖分析的骨架示意，即使完全被遮擋，我們也可以使用RF信號來估測人在其后的姿勢。

除了感知運(yùn)動(dòng)，作者也表示從一隊(duì)100人的人群中，使用無線信號大概在83%的時(shí)候都能準(zhǔn)確的識別出某個(gè)人。在知道某個(gè)特定人的身份時(shí)，這一能力應(yīng)用到搜救非常有幫助。

在這篇論文中，模型輸出一個(gè)2D線條人物，但研究團(tuán)隊(duì)也在創(chuàng)造3D表征，從而可以表示更細(xì)微的動(dòng)作。例如，能夠查看老人的手是否有規(guī)律性的晃動(dòng)。趙說，「通過使用視覺數(shù)據(jù)與AI的結(jié)合來透視墻內(nèi)，我們能夠?qū)崿F(xiàn)更好的場景理解與更智能的環(huán)境，從而讓生活更安全、更豐富�！�

論文：Through-Wall Human Pose Estimation Using Radio Signals

 

 

論文鏈接：http://openaccess.thecvf.com/contentcvpr2018/CameraReady/2406.pdf

本文展示了隔著墻和遮擋物也能實(shí)現(xiàn)準(zhǔn)確的人類姿態(tài)估計(jì)的研究。我們利用了WiFi頻率的無線信號可以穿墻并從人體反射的事實(shí)。我們引入了一種神經(jīng)網(wǎng)絡(luò)方法來解析這種無線電信號，以估計(jì)2D的姿態(tài)。由于人類不能標(biāo)注無線電信號，我們使用了當(dāng)前最佳的視覺模型來提供跨模態(tài)監(jiān)督。具體來說，在訓(xùn)練期間，系統(tǒng)使用同步的無線信號和視覺輸入，從視覺流中提取姿態(tài)信息，然后將其用于指導(dǎo)訓(xùn)練過程。一旦訓(xùn)練完成，網(wǎng)絡(luò)僅使用無線信號就可以進(jìn)行姿態(tài)估計(jì)。我們的實(shí)驗(yàn)表明當(dāng)在可見場景中進(jìn)行測試時(shí)，基于無線電的系統(tǒng)幾乎和用于訓(xùn)練的基于視覺的系統(tǒng)一樣準(zhǔn)確。然而，和基于視覺的姿態(tài)估計(jì)不同，基于無線電的系統(tǒng)可以穿墻估計(jì)2D姿態(tài)，即使從未在這種場景中訓(xùn)練過。

原文地址：http://news.mit.edu/2018/artificial-intelligence-senses-people-through-walls-0612

標(biāo)簽： 安全 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。