Open Images 是谷歌開(kāi)源的一個(gè)大型數(shù)據(jù)集，包含大約 900 萬(wàn)張圖像，這些圖像用圖像級(jí)別的標(biāo)簽和目標(biāo)邊界框進(jìn)行了標(biāo)注。最近，谷歌發(fā)布了該數(shù)據(jù)集的第四個(gè)版本——Open Images V4，圖像數(shù)量增加到 920 萬(wàn)，其訓(xùn)練集包含 1460 萬(wàn)個(gè)邊界框，用于標(biāo)識(shí)從屬于 600 個(gè)目標(biāo)類(lèi)別的 174 萬(wàn)張圖像中的目標(biāo)，這使它成為了現(xiàn)有的含有目標(biāo)位置標(biāo)注的最大數(shù)據(jù)集。

這些邊界框大部分由專(zhuān)業(yè)的標(biāo)注人員手工繪制，以確保準(zhǔn)確性和一致性。數(shù)據(jù)集中的圖像非常多樣化，通常包含存在多個(gè)目標(biāo)的復(fù)雜場(chǎng)景(平均每張圖像 8.4 個(gè))。此外，數(shù)據(jù)集用逾數(shù)千個(gè)類(lèi)別的圖像級(jí)標(biāo)簽進(jìn)行標(biāo)注。

數(shù)據(jù)集地址：https://storage.googleapis.com/openimages/web/visualizer/index.html?set=train&c=%2Fm%2F06mf6

數(shù)據(jù)組織

數(shù)據(jù)集被分成了訓(xùn)練集(9,011,219 張圖像)、驗(yàn)證集(41,620 張圖像)和測(cè)試集(125,436 張圖像)三部分。這些圖像用圖像級(jí)的標(biāo)簽和邊界框進(jìn)行了標(biāo)注，如下所述。

圖像級(jí)標(biāo)簽

表 1 為 Open Images V4 數(shù)據(jù)集所有部分(訓(xùn)練集、驗(yàn)證集、測(cè)試集)的圖像級(jí)標(biāo)簽的概述。所有圖像都帶有由機(jī)器通過(guò)類(lèi)似于谷歌云視覺(jué) API(https://cloud.google.com/vision/)的計(jì)算機(jī)視覺(jué)模型自動(dòng)生成的圖像級(jí)標(biāo)簽。這些自動(dòng)生成的標(biāo)簽有很大的假正例率。

 

 

表 1：圖像級(jí)標(biāo)簽。

此外，驗(yàn)證集、測(cè)試集以及部分訓(xùn)練集都帶有經(jīng)過(guò)人驗(yàn)證的圖像級(jí)別標(biāo)簽。大多數(shù)驗(yàn)證工作都是由谷歌內(nèi)部的標(biāo)注人員完成的。一小部分?jǐn)?shù)據(jù)標(biāo)注工作是通過(guò)圖像標(biāo)注程序(Image Labeler)進(jìn)行眾包完成的：如 Crowdsource app 和 g.co/ imagelabeler。這個(gè)驗(yàn)證過(guò)程實(shí)際上消除了假正例(但不能消除假負(fù)例：圖像中可能缺少一些標(biāo)簽)。最終得到的標(biāo)簽基本上是正確的，我們認(rèn)為這些數(shù)據(jù)可以很好的被用于訓(xùn)練計(jì)算機(jī)視覺(jué)模型。我們使用了多個(gè)計(jì)算機(jī)視覺(jué)模型來(lái)生成樣本(不僅僅是用于機(jī)器生成標(biāo)簽的模型)，詞匯表因此得到了顯著的擴(kuò)展(表 1 中的 #Classes 列)。

總的來(lái)說(shuō)，數(shù)據(jù)集包含 19,995 個(gè)具有圖像級(jí)標(biāo)簽的不同類(lèi)。注意，這個(gè)數(shù)字略高于上表中經(jīng)過(guò)人工驗(yàn)證的標(biāo)簽的數(shù)量。原因是機(jī)器生成的集合中有少量的標(biāo)簽沒(méi)有出現(xiàn)在人工驗(yàn)證的集合中。在 V4 訓(xùn)練集中，至少含有 100 個(gè)人工驗(yàn)證的正類(lèi)才能算得上可訓(xùn)練的類(lèi)。根據(jù)這個(gè)定義，我們可以認(rèn)為有 7186 個(gè)類(lèi)是可訓(xùn)練的。

邊界框

表 2 為 Open Images V4 數(shù)據(jù)集所有部分(訓(xùn)練集、驗(yàn)證集、測(cè)試集)中逾 600 類(lèi)邊界框標(biāo)注的概述。這些數(shù)據(jù)比 ILSVRC 和 COCO 目標(biāo)檢測(cè)挑戰(zhàn)賽的數(shù)據(jù)類(lèi)別范圍更大，包括「fedora」和「snowman」等新對(duì)象。

 

 

表 2：邊界框。

對(duì)于訓(xùn)練集，我們?cè)?174 萬(wàn)張經(jīng)過(guò)人類(lèi)驗(yàn)證的帶有正類(lèi)圖像級(jí)別標(biāo)簽的圖像上標(biāo)注了邊界框。我們關(guān)注的是最具體的標(biāo)簽。例如，如果一個(gè)圖像帶有標(biāo)簽 {car，limousine，screwdriver}，我們會(huì)為「limousine」和「screwdriver」兩類(lèi)標(biāo)注邊界框。對(duì)于圖像中的每個(gè)標(biāo)簽，我們都詳盡地標(biāo)注了圖像中從屬于該目標(biāo)類(lèi)的每個(gè)實(shí)例。我們一共標(biāo)注了 1460 萬(wàn)個(gè)邊界框。平均每個(gè)圖像有 8.4 個(gè)帶有邊界框的目標(biāo)。90% 的邊界框都是由谷歌的專(zhuān)業(yè)標(biāo)注人員使用高效的「extreme clicking」界面手動(dòng)繪制的 [1]。我們使用 [2] 中方法的增強(qiáng)版半自動(dòng)地生成了剩下 10% 的邊界框。經(jīng)過(guò)人類(lèi)驗(yàn)證，這些邊界框的 IoU>0.7，在相應(yīng)目標(biāo)上有一個(gè)完美的邊界框，它們?cè)趯?shí)際中的準(zhǔn)確率非常高(平均的 IoU 大約為 0.82)。由于實(shí)例過(guò)多(95,335 張圖片上共有 1,327,596 個(gè)實(shí)例)，我們僅為 95,335 張圖像繪制了人體部分和「哺乳動(dòng)物」的邊界框。

對(duì)于驗(yàn)證集和測(cè)試集，我們?yōu)樗�有目�?biāo)實(shí)例所有可能的正類(lèi)圖像級(jí)標(biāo)簽提供了詳盡的邊界框標(biāo)注信息。所有的邊界框都是手工繪制的。我們盡可能在語(yǔ)義層次結(jié)構(gòu)中最具體的層次上標(biāo)注邊界框。在驗(yàn)證集和測(cè)試集中，平均每個(gè)圖像都有大約 5 個(gè)邊界框。

在所有部分(訓(xùn)練集、驗(yàn)證集、測(cè)試集)中，標(biāo)注人員還為每個(gè)框標(biāo)記了一組屬性。例如，說(shuō)明該目標(biāo)是否被遮蓋(請(qǐng)參閱「download」部分(https://storage.googleapis.com/openimages/web/download.html#attributes)的完整描述)。

類(lèi)的定義

圖像的類(lèi)別由 MID(機(jī)器生成的 ID)來(lái)標(biāo)識(shí)，這些 MID 可以在「Freebase」或「Google Knowledge Grapg API」(https://developers.google.com/knowledge-graph/)中找到。在「class-description.csv」(https://storage.googleapis.com/openimages/2018_04/class-descriptions.csv)文件中可以找到每個(gè)類(lèi)的簡(jiǎn)短描述。

統(tǒng)計(jì)和數(shù)據(jù)分析

600 個(gè)邊界框可標(biāo)識(shí)的類(lèi)的層次結(jié)構(gòu)

在這里，我們將一組可以用邊界框標(biāo)識(shí)出來(lái)的類(lèi)以一種層次結(jié)構(gòu)表示出來(lái)(https://storage.googleapis.com/openimages/2018_04/bbox_labels_600_hierarchy_visualizer/circle.html)，或者可以以 JSON 文件的方式下載它們(https://storage.googleapis.com/openimages/2018_04/bbox_labels_600_hierarchy.json)：

 

 

標(biāo)簽分布

下圖顯示了標(biāo)注結(jié)果在數(shù)據(jù)集中的分布情況。注意，標(biāo)簽分布嚴(yán)重傾斜(注：y 軸為對(duì)數(shù)刻度)。根據(jù)正類(lèi)樣本的數(shù)量對(duì)各類(lèi)排序。綠色代表正類(lèi)樣本，紅色代表負(fù)類(lèi)樣本。

 

 

 

 

 

 

 

 

 

 

 

 

論文：The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale

 

 

論文鏈接：https://arxiv.org/abs/1811.00982

摘要：在本文中，我們發(fā)布了 Open Images V4，這是一個(gè)包含 920 萬(wàn)張圖像的數(shù)據(jù)集，對(duì)于圖像分類(lèi)、目標(biāo)檢測(cè)和視覺(jué)關(guān)系檢測(cè)等任務(wù)有統(tǒng)一的標(biāo)注。這些圖像都具有允許共享和修改素材的創(chuàng)作共用許可證(Creative Commons Attribution license)，收集自 Flickr，上面沒(méi)有事先定義的類(lèi)名或標(biāo)簽列表。這使得數(shù)據(jù)集具備自然的類(lèi)的統(tǒng)計(jì)性質(zhì)，避免了初始設(shè)計(jì)偏差。Open Images V4 提供了多個(gè)維度上的大規(guī)模數(shù)據(jù)：為 19800 個(gè)概念提供了 3010 萬(wàn)個(gè)圖像級(jí)標(biāo)簽，為 600 個(gè)目標(biāo)類(lèi)提供了 1540 萬(wàn)個(gè)邊界框，為 57 個(gè)類(lèi)提供了 375000 個(gè)視覺(jué)關(guān)系標(biāo)注。特別是目標(biāo)檢測(cè)方面，我們提供了比僅次于我們的第二大數(shù)據(jù)集多 15 倍的邊界框。在這些圖像中經(jīng)常出現(xiàn)一些包含多個(gè)目標(biāo)的復(fù)雜場(chǎng)景(平均每個(gè)圖像有 8 個(gè)帶標(biāo)注的目標(biāo))。我們標(biāo)注了它們之間的視覺(jué)關(guān)系，用來(lái)支持視覺(jué)關(guān)系檢測(cè)，這是一個(gè)需要結(jié)構(gòu)化推理的新興任務(wù)。我們提供了關(guān)于數(shù)據(jù)集的深入、全面的統(tǒng)計(jì)數(shù)據(jù)，驗(yàn)證了標(biāo)注信息的質(zhì)量，并研究了隨著訓(xùn)練數(shù)據(jù)的增加，目前流行的一些模型的性能會(huì)如何變化。我們希望 Open Image V4 的規(guī)模、質(zhì)量和種類(lèi)能夠促進(jìn)進(jìn)一步的研究和創(chuàng)新，甚至在圖像分類(lèi)、目標(biāo)檢測(cè)和視覺(jué)關(guān)系檢測(cè)等領(lǐng)域之外也能有所助益。

 

 

圖 1：Open Image 中用于圖像分類(lèi)、目標(biāo)檢測(cè)和視覺(jué)關(guān)系檢測(cè)的標(biāo)注示例。對(duì)于圖像分類(lèi)任務(wù)，正類(lèi)標(biāo)簽(出現(xiàn)在圖像中)是綠色的，而負(fù)類(lèi)標(biāo)簽(沒(méi)有出現(xiàn)在圖像中)是紅色的。對(duì)于視覺(jué)關(guān)系檢測(cè)任務(wù)，帶有虛線(xiàn)輪廓的邊界框?qū)�兩個(gè)具有特定視覺(jué)關(guān)系的目標(biāo)圈在一起。

 

 

圖 17：每類(lèi)邊界框的數(shù)量。橫軸是按邊界框數(shù)量對(duì)各類(lèi)進(jìn)行排序的結(jié)果，為了提高可讀性，我們將該結(jié)果用對(duì)數(shù)刻度表示。我們還標(biāo)明了最常見(jiàn)的類(lèi)的名稱(chēng)。

 

 

圖 18：每張圖像中的類(lèi)別數(shù)量。每張圖像不同類(lèi)別數(shù)量歸一化(左)和非歸一化(右)直方圖。

 

 

圖 20：訓(xùn)練集中標(biāo)注過(guò)的目標(biāo)區(qū)域的比例：PASCAL、COCO、Open Images 中標(biāo)注過(guò)的目標(biāo)占圖像區(qū)域百分比的累積分布;即面積低于某個(gè)值的實(shí)例的百分比。作為對(duì)比基線(xiàn)，我們繪制了面積和邊長(zhǎng)均勻分布的邊界框?qū)��?yīng)的函數(shù)。我們忽略了在 COCO 中標(biāo)記為人群的邊界框和在 Open Image 中標(biāo)記為群組的邊界框。

 

 

圖 15：包含大量標(biāo)注過(guò)的邊界框的示例：分別包含 348、386 和 743 個(gè)邊界框的圖像。在很多這樣的情況下可以使用 GroupOf，但實(shí)際上它們還是對(duì)此很感興趣。

 

 

圖 19：含有大量不同類(lèi)別的標(biāo)注的圖像(左圖中有 11 類(lèi)標(biāo)注，右圖中有 7 類(lèi)標(biāo)注)。

參考鏈接：https://storage.googleapis.com/openimages/web/factsfigures.html

標(biāo)簽： Google 大數(shù)據(jù) 谷歌 數(shù)據(jù)分析

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。