摘要：在等機(jī)構(gòu)新提出的論文中，其采用了大規(guī)模數(shù)據(jù)集與深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的自然結(jié)構(gòu)，從而進(jìn)一步分離圖像的前景與背景。一張手動(dòng)摳圖的前景圖擁有簡(jiǎn)單背景作為輸入。對(duì)于每一張測(cè)試圖像，按照降序從第列到第列顯示了度量下的排名結(jié)果排名到。

摳圖，一直是一件體力活，它需要大量的操作與時(shí)間。而傳統(tǒng)摳圖算法主要是以色彩為特征分離前景與背景，并在小數(shù)據(jù)集上完成，而這就造成了傳統(tǒng)算法的局限性。在 Adobe 等機(jī)構(gòu)新提出的論文中，其采用了大規(guī)模數(shù)據(jù)集與深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的自然結(jié)構(gòu)，從而進(jìn)一步分離圖像的前景與背景。

論文地址：https://arxiv.org/abs/1703.03872

摘要

摳圖（Image matting）是一項(xiàng)基本的計(jì)算機(jī)視覺(jué)問(wèn)題，并擁有廣闊的應(yīng)用空間。當(dāng)圖像的前景（foreground）和背景顏色或復(fù)雜紋理類(lèi)似時(shí)，早先的算法表現(xiàn)得差強(qiáng)人意。主要是因?yàn)椋?. 只有低級(jí)特征（low-level features）；2. 缺乏高層次上下圖境（high-level context）。在本篇論文中，我們提出了一種基于深度學(xué)習(xí)的新算法，該算法可以解決這兩個(gè)問(wèn)題。我們的深度模型分為兩個(gè)階段。第一階段是深度卷積編碼-解碼網(wǎng)絡(luò)（deep convolutional encoder-decoder network），該神經(jīng)網(wǎng)絡(luò)將圖像和相對(duì)應(yīng)的三分圖（trimap）作為輸入，并預(yù)測(cè)圖像的α蒙版（alpha matte）。第二階段是一個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)對(duì)第一個(gè)網(wǎng)絡(luò)預(yù)測(cè)的α蒙版進(jìn)行精煉從而擁有更準(zhǔn)確的α值和銳化邊緣。另外，我們還創(chuàng)建了一個(gè)大規(guī)模摳圖數(shù)據(jù)集（large-scale image matting dataset），該數(shù)據(jù)集包含 49300 張訓(xùn)練圖像和 1000 張測(cè)試圖像。我們?cè)趽笀D基準(zhǔn)、測(cè)試數(shù)據(jù)集和各種真實(shí)圖像上評(píng)估了我們的算法。實(shí)驗(yàn)結(jié)果清楚地表明了我們的算法比先前的方法更具優(yōu)越性。

簡(jiǎn)介

摳圖（Image matting），即在圖像或視頻中較精確估計(jì)前景的問(wèn)題，具有很重要的實(shí)用性。它是圖像編輯和電影制作的關(guān)鍵技術(shù)，高效的自然圖像摳圖方法能極大地提升當(dāng)前的圖像視頻處理流程的效率。并且這種技術(shù)是無(wú)約束場(chǎng)景（unconstrained scenes）下處理真實(shí)世界圖像的必要方法。

然而，目前摳圖算法還是具有很大的局限性：

首先第一個(gè)局限性就是目前用來(lái)求解摳圖方程式（matting equation）的方法存在問(wèn)題。

其中 Ii 是像素塊 i 的 RGB 色彩，已知前景色彩 Fi，背景色彩 Bi，未知蒙版估計(jì)（matte estimation）αi。在這個(gè)方程式中，摳圖問(wèn)題形式化為兩種顏色的線性組合，因此大多數(shù)現(xiàn)存的算法很大一部分都是將其近似求解色彩的問(wèn)題。

另一個(gè)局限性就因?yàn)樾?shù)據(jù)集而產(chǎn)生。一般用于摳圖的數(shù)據(jù)真值（ground truth）是很復(fù)雜的，而 alphamatting.com 數(shù)據(jù)集通過(guò)提供標(biāo)記數(shù)據(jù)集對(duì)摳圖研究做出了很重要的貢獻(xiàn)。不過(guò)因?yàn)樵摂?shù)據(jù)集僅僅只由 27 張訓(xùn)練圖像和 8 張測(cè)試圖像組成，那么這樣大小的數(shù)據(jù)集會(huì)帶來(lái)自然偏差（nature biased），訓(xùn)練出來(lái)的算法也會(huì)很難進(jìn)行泛化。

在這項(xiàng)研究中，我們提出了一種旨在克服這些局限性的方法。我們的方法就是使用深度學(xué)習(xí)在給定輸入圖像和三分圖的基礎(chǔ)上直接計(jì)算α蒙版（alpha matte）。我們的神經(jīng)網(wǎng)絡(luò)并不首要依賴于色彩信息，它會(huì)學(xué)習(xí)圖像的自然結(jié)構(gòu)，并將其反映到α蒙版中。例如毛發(fā)（通常需要將其摳出來(lái)）就擁有很強(qiáng)的結(jié)構(gòu)和紋理圖案，它們通常存在能抽取出的共同結(jié)構(gòu)或α蒙版輪廓。并且由于低層次的特征并不會(huì)捕獲這些結(jié)構(gòu)，那么就需要深度神經(jīng)網(wǎng)絡(luò)去表征它們了。我們的兩階段神經(jīng)網(wǎng)絡(luò)包含了編碼器-解碼器階段和使用小型殘差網(wǎng)絡(luò)進(jìn)行精煉階段。我們是第一個(gè)證明了在給定輸入圖像和三分圖的情況下能采用端到端的方式學(xué)習(xí)到α蒙版。

如下圖所示，實(shí)際上我們能在三分圖（trimap）未知前景或背景的情況下產(chǎn)生很好的結(jié)果，而在這種情況下，大多數(shù)算法都返回不了什么內(nèi)容。

圖 1：我們的方法和封閉形式的摳圖（Closed form matting）對(duì)比。第一張圖像是從 Alpha Matting 基準(zhǔn)而來(lái)，第二張圖像是從我們千張測(cè)試圖像中抽取的。

為了訓(xùn)練我們的深度神經(jīng)網(wǎng)絡(luò)，如下圖所示，我們將識(shí)別目標(biāo)（前景）摳取出來(lái)，并放入不同的背景而構(gòu)建一個(gè)大型摳圖數(shù)據(jù)集。

圖 2：創(chuàng)建數(shù)據(jù)集。a) 一張手動(dòng)摳圖的前景圖（擁有簡(jiǎn)單背景）作為輸入。b) 經(jīng)計(jì)算的α蒙版。c) 經(jīng)計(jì)算的前景圖像，可以作為對(duì)象放入到各種背景圖像（d-f）中。

我們通過(guò)深度學(xué)習(xí)解決摳圖問(wèn)題。給定一個(gè)新的數(shù)據(jù)集（大規(guī)模摳圖數(shù)據(jù)集），我們的神經(jīng)網(wǎng)絡(luò)能充分利用這些數(shù)據(jù)進(jìn)行訓(xùn)練。并且該神經(jīng)網(wǎng)絡(luò)由以下兩個(gè)階段組成。

圖 3：我們的神經(jīng)網(wǎng)絡(luò)由兩階段組成，編碼-解碼階段（Sec. 4.1）和精煉階段 (Sec. 4.2)

精煉圖像的效果在圖 4 中展示了。注意，該精煉網(wǎng)絡(luò)并沒(méi)有大規(guī)模改變?chǔ)撩砂?，只不過(guò)是精煉并銳化α值。

圖 4：摳圖精煉網(wǎng)絡(luò)的效果。a) 輸入圖像。b) 編碼-解碼階段的輸出。c) 精煉階段的輸出結(jié)果

下一張圖表明了在 SAD 度量（SAD metric）下的排名結(jié)果。

圖 6：α蒙版預(yù)測(cè)使用「user」三分圖的「Troll」和「small」三分圖的「Doll」作為測(cè)試圖像。第一列顯示了測(cè)試圖像。對(duì)于每一張測(cè)試圖像，按照降序從第 2 列到第 6 列顯示了 SAD 度量（SAD metric）下的排名結(jié)果（排名 1 到 5）。在這兩個(gè)例子中，我們的方法都實(shí)現(xiàn)了較好的結(jié)果。

結(jié)論

為了泛化到自然圖像中，摳圖算法必須超越以色彩作為主要線索，并能利用更加結(jié)構(gòu)性和語(yǔ)義性的特征（structural and semantic features）。在該項(xiàng)研究中，我們展示了一種神經(jīng)網(wǎng)絡(luò)，它有足夠的能力捕捉到高層次特征（high-order features），并利用它們計(jì)算且提升摳圖效果。實(shí)驗(yàn)還展示了我們的方法不僅在標(biāo)準(zhǔn)數(shù)據(jù)集上優(yōu)于以前的方法，而且它在泛化到真實(shí)圖像上也顯著地比現(xiàn)存算法表現(xiàn)更優(yōu)良一些。 ?

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754