摘要：當(dāng)前，很多學(xué)者和研究機(jī)構(gòu)都嘗試基于深度學(xué)習(xí)進(jìn)行服裝檢索技術(shù)的探究與創(chuàng)新。下文將回顧三篇基于深度學(xué)習(xí)來(lái)解決跨域服裝檢索問(wèn)題的文章。總的來(lái)說(shuō)，以上深度學(xué)習(xí)方法的探索與創(chuàng)新都將為商品檢索技術(shù)趨

摘要

商品檢索是一門(mén)綜合了物體檢測(cè)、 圖像分類(lèi)以及特征學(xué)習(xí)的技術(shù)。 近期， 很多研究者成功地將深度學(xué)習(xí)方法應(yīng)用到這個(gè)領(lǐng)域。 本文對(duì)這些方法進(jìn)行了總結(jié)， 然后概括地提出了商品特征學(xué)習(xí)框架以及垂類(lèi)數(shù)據(jù)挖掘方式， 最后介紹了商品檢索技術(shù)在服裝搭配中的應(yīng)用。

前言

幾年前，當(dāng)人們還在感嘆于網(wǎng)頁(yè)購(gòu)物的快速便捷時(shí)，各大電商巨頭就“悄悄地”將它們的購(gòu)物應(yīng)用推廣到了用戶的手機(jī)里。從那一刻起，用戶購(gòu)買(mǎi)的習(xí)慣也在悄悄地發(fā)生著改變：人們不再局限于時(shí)間與地點(diǎn)，只要擁有一部聯(lián)網(wǎng)的手機(jī)，就能輕松獲取想要的商品。發(fā)展至今，移動(dòng)設(shè)備的安全、高速等特點(diǎn)越來(lái)越獲得人們的認(rèn)可，也使得移動(dòng)購(gòu)物行為變得更加普遍。然而目前PC和Mobile終端中，用戶基本都是通過(guò)文本關(guān)鍵詞獲取目標(biāo)商品，這種單一的關(guān)鍵詞描述有時(shí)很難獲取用戶的真實(shí)需求。為此，電商們也進(jìn)行了很多改進(jìn)。其中最有效的一些做法是構(gòu)建高度結(jié)構(gòu)化的后臺(tái)商品數(shù)據(jù)庫(kù)。其目的是能夠通過(guò)分析用戶的查詢來(lái)推薦一些更加精細(xì)粒度、時(shí)效性好、熱度高的商品品類(lèi)；并提供給用戶一個(gè)限定了價(jià)格、品牌、風(fēng)格等等的商品候選集合。這種基于文本的由粗到精的推薦方式， 能夠很好的幫助用戶定位到具有精細(xì)且具體標(biāo)簽的商品。然而，當(dāng)用戶需求的商品的周邊信息不明確時(shí)，很難通過(guò)抽象出有限的關(guān)鍵詞來(lái)進(jìn)行檢索。這類(lèi)商品包括：未知品牌的化妝品，樣式新穎的家具或者時(shí)尚流行的服裝等（如圖1）。

所見(jiàn)即所得

對(duì)于上述的問(wèn)題，可以用一句話歸結(jié)為：當(dāng)需求物品難以用文本量化描述時(shí)， 給定它的一張圖像，是否有可能推薦給用戶相關(guān)的商品？ 可以想象這樣的場(chǎng)景： 當(dāng)你看到一件喜歡的物品，只通過(guò)手機(jī)拍照將其圖像上傳購(gòu)物網(wǎng)站，就能獲取實(shí)物購(gòu)買(mǎi)信息。如果商品檢索能做到這樣的“所見(jiàn)即所得”， 必將會(huì)給有購(gòu)物需求的用戶帶來(lái)很大的便捷。

“所見(jiàn)”如何才能變成“所得”呢？ 在回答這個(gè)問(wèn)題之前， 首先需要了解商品檢索中的難點(diǎn)問(wèn)題：

商品細(xì)品類(lèi)繁多

小到柴米油鹽，大到家具電器， 都可以稱(chēng)為商品。而且很多商品都包括多級(jí)且細(xì)致的分類(lèi)。例如，家具可分為臥室家具、客廳家具、餐廳家具、書(shū)房家具等；服裝的一級(jí)品類(lèi)包括女裝、男裝、內(nèi)衣、配飾與童裝童鞋等， 女裝又可分為連衣裙、T恤、雪紡衫等； 母嬰中的童車(chē)童床類(lèi)別可分為安全座椅、嬰兒推車(chē)、嬰兒床、嬰兒床、墊餐、椅學(xué)步車(chē)等。由此可見(jiàn)， 好的檢索技術(shù)不僅要識(shí)別這么多的商品類(lèi)別， 并且需要區(qū)分每個(gè)類(lèi)別下的不同商品實(shí)例； 同時(shí)后臺(tái)商品數(shù)據(jù)庫(kù)應(yīng)該具有很高的覆蓋面。圖2給出了一個(gè)電商網(wǎng)站對(duì)商品品類(lèi)的劃分。

同款與相似款的混淆

根據(jù)多級(jí)類(lèi)目或?qū)傩赃M(jìn)行商品劃分的方式，盡管區(qū)分了大多數(shù)具有精細(xì)語(yǔ)義的商品，但在區(qū)分同款與相似款上的作用仍然是有限的，即無(wú)法確認(rèn)兩件分為一個(gè)類(lèi)別的商品是相同款。 舉例來(lái)說(shuō)，已知兩個(gè)人都穿著白色短袖圓領(lǐng)T恤， 因?yàn)樽藨B(tài)、角度、光照等影響，有可能會(huì)使得相似款更像同款，或者同款被誤識(shí)別為相似款。這就是計(jì)算機(jī)視覺(jué)中經(jīng)常碰到的類(lèi)內(nèi)差異性與類(lèi)間相似性問(wèn)題。 圖3的例子可以說(shuō)明這兩個(gè)問(wèn)題。 左側(cè)(a)中的上衣是同一款衣服，但由于人體姿態(tài)、懸掛方式、手臂遮擋、光線等問(wèn)題的存在，使得它的顏色以及長(zhǎng)度等表觀屬性具有很大的差異性; 三款相似的黑色印花連衣裙如(b)所示，它們擁有相似的不規(guī)則的印花圖案，以及黑色的底色和A字裙擺；這些特點(diǎn)都讓他們很相似，但從袖型可看出它們非同款。

其實(shí)，計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域都在解決這樣的“所見(jiàn)即所得”難題， 即如何讓機(jī)器能夠自動(dòng)準(zhǔn)確的理解圖像內(nèi)容。 隨著深度學(xué)習(xí)的興起， 包括人臉識(shí)別、 圖像分類(lèi)與物體檢測(cè)在內(nèi)的方向都取得了很多重要的進(jìn)展， 也為深度學(xué)習(xí)在商品檢索中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

概括的講， 為達(dá)到“所見(jiàn)即所得”的目標(biāo)， 商品檢索技術(shù)的框架中需要包含以下三個(gè)部分：

(1) ?商品主體檢測(cè)： 用于自動(dòng)定位用戶感興趣的商品，去除背景、多主體等因素的影響，也有利于抽取的語(yǔ)義特征的對(duì)齊。

(2) ?商品品類(lèi)識(shí)別：通過(guò)識(shí)別商品的主體的品類(lèi)， 使得在檢索時(shí)可以在商品子數(shù)據(jù)子庫(kù)進(jìn)行搜索，提升檢索的效果與效率。

(3) ?商品特征表示： 通過(guò)學(xué)習(xí)獲得商品主體的判別性特征， 使得同款商品距離更近且非同款商品相距更遠(yuǎn)； 對(duì)光照、姿態(tài)、遮擋等變化有一定的魯棒性。

服飾檢索技術(shù)回顧

基于拍照的商品檢索問(wèn)題本質(zhì)是一個(gè)跨域(cross-domain)圖像檢索問(wèn)題: 需要根據(jù)用戶輸入的移動(dòng)拍照?qǐng)D像， 從電商庫(kù)中獲取同款或是非常相似的商品圖片列表。這些特點(diǎn)決定了商品檢索是一項(xiàng)綜合性的圖像處理技術(shù)——它涉及圖像識(shí)別、檢測(cè)、特征學(xué)習(xí)等各方面的內(nèi)容。

其中， 服裝垂類(lèi)檢索是商品檢索中一個(gè)重要的問(wèn)題。因?yàn)榉b包含非常多的細(xì)品類(lèi)， 而且存在非常多的視覺(jué)變化， 如光照、形變、視角、尺度、背景影響等等。解決服裝檢索的技術(shù)能夠很好的被推廣到其他垂類(lèi)上。當(dāng)前，很多學(xué)者和研究機(jī)構(gòu)都嘗試基于深度學(xué)習(xí)進(jìn)行服裝檢索技術(shù)的探究與創(chuàng)新。 下文將回顧三篇基于深度學(xué)習(xí)來(lái)解決跨域服裝檢索問(wèn)題的文章。

Where-to-Buy-It (WTBI)

這篇文章發(fā)表于ICCV2015，作者是來(lái)自北卡羅來(lái)納大學(xué)教堂山分校的M. Hadi Kiapour。作者把street-to-shop的服裝檢索場(chǎng)景， 形式化為cross-domain的商品相似度學(xué)習(xí)問(wèn)題， 并設(shè)計(jì)了一種用于特定類(lèi)別的相似度計(jì)算的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方式。整個(gè)學(xué)習(xí)流程如圖4所示。 首先， 利用裙子、外套、上衣、褲子、裙子等五個(gè)主要的商品類(lèi)別的同款標(biāo)注圖像， 基于cross entropy loss訓(xùn)練一個(gè)通用商品的同款判別模型； 然后， 對(duì)于特定細(xì)分類(lèi)的商品檢索模型學(xué)習(xí)問(wèn)題， 采用其對(duì)應(yīng)的同款訓(xùn)練數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)微調(diào)， 將通用同款模型遷移成特定類(lèi)別的同款模型。 在進(jìn)行方法驗(yàn)證時(shí)， 文中還收集了40萬(wàn)的電商數(shù)據(jù)，以及近4萬(wàn)組的street-to-shop的同款商品數(shù)據(jù)。 實(shí)驗(yàn)表明， 通過(guò)這種“由粗到細(xì)”方式學(xué)習(xí)到的相似度量網(wǎng)絡(luò)， 比基于ImageNet訓(xùn)練的深度特征有更好的檢索性能。 但此文只基于離線CNN特征學(xué)習(xí)相似度， 并沒(méi)有進(jìn)行端到端的檢索模型的探索。

Dual Attribute-aware Ranking Network (DARN)

這篇文章發(fā)表于ICCV2015，作者是來(lái)自新加坡國(guó)立大學(xué)的 Junshi Huang。此文與WTBI方法相比的不同在于： 在處理街拍場(chǎng)景(street scenario)與電商場(chǎng)景(shopping scenario)服裝圖像之間的檢索問(wèn)題時(shí)， 提出了一種端到端的雙路神經(jīng)網(wǎng)絡(luò)模型（DARN）來(lái)學(xué)習(xí)深度特征，如圖5所示； 其中一路網(wǎng)絡(luò)學(xué)習(xí)街拍場(chǎng)景下的服裝特征；另一路網(wǎng)絡(luò)學(xué)習(xí)電商場(chǎng)景下的服裝特征。為了提升圖像檢索特征的判別能力， 作者還采用了多種標(biāo)注數(shù)據(jù)來(lái)監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程： 多標(biāo)簽的屬性標(biāo)注與服裝同款I(lǐng)D標(biāo)注。為此，在設(shè)計(jì)網(wǎng)絡(luò)損失時(shí)， 同時(shí)采用了基于多標(biāo)簽屬性數(shù)據(jù)的cross-entropy loss以及服裝同款I(lǐng)D數(shù)據(jù)的triplet loss?？偟膩?lái)看， 網(wǎng)絡(luò)的輸出特征同時(shí)隱含了局部語(yǔ)義屬性的判別能力以及全局表觀的區(qū)分性， 在檢索效果的提升上具有很好的互補(bǔ)性。

DeepFashion

這篇文章發(fā)表于CVPR2016，作者是來(lái)自香港中文大學(xué)的Ziwei Liu。為了使服飾識(shí)別相關(guān)的研究更加貼近實(shí)際應(yīng)用場(chǎng)景， 作者收集了一個(gè)規(guī)模更大且語(yǔ)義標(biāo)注更全面的服裝數(shù)據(jù)集DeepFashion； 它在圖像數(shù)目、類(lèi)別與屬性數(shù)目、同款對(duì)、位置標(biāo)定與數(shù)據(jù)開(kāi)放等方面都占據(jù)優(yōu)勢(shì)。其與WTBI和DARN中的數(shù)據(jù)庫(kù)對(duì)比如表格1所示。

此文還提出了一種FashionNet， 融合了大類(lèi)、屬性、服裝ID以及關(guān)鍵點(diǎn)四種監(jiān)督信息來(lái)進(jìn)行服裝特征學(xué)習(xí)。它的創(chuàng)新之處是， 設(shè)計(jì)了分別對(duì)全局表觀以及局部部件進(jìn)行特征學(xué)習(xí)的網(wǎng)絡(luò)； 其中的局部網(wǎng)絡(luò)結(jié)構(gòu)利用了服裝局部關(guān)鍵點(diǎn)對(duì)卷積特征響應(yīng)圖進(jìn)行對(duì)齊，避免了關(guān)鍵點(diǎn)所在部件的變化帶來(lái)的影響。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

方法總結(jié)

復(fù)雜體系下的商品類(lèi)別識(shí)別以及檢索問(wèn)題的解決， 不僅在于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，而且需要多種類(lèi)型的標(biāo)注數(shù)據(jù)來(lái)約束整個(gè)網(wǎng)絡(luò)的訓(xùn)練； 這些數(shù)據(jù)包括商品位置、商品類(lèi)別、 商品屬性以及商品同款數(shù)據(jù)等； 由此， 檢索結(jié)果與查詢圖像才能具有全局表觀相似性與局部語(yǔ)義一致性。當(dāng)然， 對(duì)于如何結(jié)合這些監(jiān)督數(shù)據(jù)進(jìn)行學(xué)習(xí)仍有待進(jìn)一步探索； 是否端到端網(wǎng)絡(luò)的性能一定優(yōu)于分段學(xué)習(xí)網(wǎng)絡(luò)也猶未可知。 與傳統(tǒng)方法相比， 此類(lèi)深層神經(jīng)網(wǎng)絡(luò)模型在進(jìn)行商品檢索特征學(xué)習(xí)時(shí)并沒(méi)有脫離一般圖像檢索的特征學(xué)習(xí)框架： 不僅需要在前端進(jìn)行語(yǔ)義對(duì)齊， 也需要在后端提升特征判別性?？偟膩?lái)說(shuō)， 以上深度學(xué)習(xí)方法的探索與創(chuàng)新, 都將為商品檢索技術(shù)趨于實(shí)用化打下扎實(shí)的基礎(chǔ)。

特征學(xué)習(xí)框架

盡管以上的論文主要在探究服裝類(lèi)商品的檢索技術(shù)， 但這些方法在其他的商品垂類(lèi)上也是適用的。如圖7所示, 這些方法可概括成一套特征學(xué)習(xí)框架，。圖中三個(gè)部分的意義分別是：?

(1) ?商品圖像預(yù)處理。商品有剛體（如鞋子、箱包、化妝品等）與非剛體（如男裝、女裝、童裝等）之分， 姿態(tài)、形變、尺寸等差異很大； 因此， 需要采用一定的語(yǔ)義對(duì)齊方式使得模型對(duì)這些變化魯棒， 常見(jiàn)操作有商品檢測(cè)框?qū)R、旋轉(zhuǎn)對(duì)齊、局部關(guān)鍵點(diǎn)對(duì)齊等。

(2) ?全局表觀與局部語(yǔ)義特征融合。將一個(gè)商品圖像映射為一個(gè)特征的方法有很多； 為了使得到的特征具有很好的判別性， 多種語(yǔ)義監(jiān)督信息被用于引導(dǎo)模型的學(xué)習(xí)。以服裝垂類(lèi)為例， 最終的特征不僅需要區(qū)分語(yǔ)義（如服裝的袖長(zhǎng)、 領(lǐng)型、 扣型等）， 也需要能衡量表觀的相似性（如顏色、 紋理等）。 因此， 這類(lèi)監(jiān)督數(shù)據(jù)的收集也是整個(gè)特征學(xué)習(xí)框架的重要組成。

(3) ?特征降維。 特征的學(xué)習(xí)是一個(gè)精益求精的過(guò)程， 維度低且判別性好的特征才能保證檢索的性能與效率。用于降維學(xué)習(xí)的數(shù)據(jù)一般是商品同款數(shù)據(jù)； 常用的降維方式有線性判別分析（LDA）、 圖像分類(lèi)與度量學(xué)習(xí)等。

垂類(lèi)數(shù)據(jù)挖掘

基于這套框架，特征學(xué)習(xí)就可以依靠大量的標(biāo)注數(shù)據(jù)來(lái)完成。如何來(lái)獲取標(biāo)注數(shù)據(jù)呢？ 簡(jiǎn)單粗暴的全量數(shù)據(jù)標(biāo)注會(huì)非常耗時(shí)耗力。 這里針對(duì)同款數(shù)據(jù)與類(lèi)別數(shù)據(jù)分別給出了數(shù)據(jù)挖掘的方法， 如圖8所示。

（a） 同款數(shù)據(jù)挖掘。 基于已有的檢索特征模型以及大類(lèi)屬性分類(lèi)模型， 可以將互聯(lián)網(wǎng)數(shù)據(jù)按照類(lèi)別預(yù)測(cè)結(jié)果進(jìn)行劃分， 并根據(jù)子類(lèi)進(jìn)行多帶帶的聚類(lèi)。 對(duì)于每個(gè)cluster， 根據(jù)一些準(zhǔn)則（如特征數(shù)目、平均距離、距離方差等）來(lái)判定噪聲并進(jìn)行篩選； 最后通過(guò)人工標(biāo)注的方式進(jìn)一步切分每一個(gè)cluster來(lái)獲取同款的商品。

（b） 類(lèi)別數(shù)據(jù)挖掘。 首先， 通過(guò)爬蟲(chóng)抓取以及人工構(gòu)造的方式， 可以獲得大量的關(guān)鍵詞集合； 并將它們進(jìn)行多詞組合的方式在圖像搜索引擎獲取top-K的檢索結(jié)果， 放入類(lèi)別圖像候選集合； 之后， 基于已有的大類(lèi)屬性模型， 對(duì)候選集進(jìn)行提純， 去除低質(zhì)量以及語(yǔ)義錯(cuò)誤的圖像。

技術(shù)應(yīng)用

本節(jié)介紹一種新商品檢索技術(shù)應(yīng)用方向： 服裝搭配。 服裝搭配是指根據(jù)用戶給定的一件衣服單品， 推薦出能夠與之搭配的時(shí)尚款式。它的應(yīng)用場(chǎng)景包括時(shí)尚資訊推薦、電商導(dǎo)購(gòu)等。由于服飾品類(lèi)繁多、穿著標(biāo)準(zhǔn)各異， 如何定義并獲取時(shí)尚的款式以及給用戶個(gè)性化推薦搭配方案， 都面臨很大的挑戰(zhàn)。 下文將圍繞這兩個(gè)問(wèn)題， 介紹一種基于商品檢索技術(shù)的服飾搭配方法。

定義時(shí)尚款式

“工欲善其事必先利其器”。在服飾搭配過(guò)程中，構(gòu)建時(shí)尚款式的數(shù)據(jù)庫(kù)是非常必要的。然而，時(shí)尚是一種比較感性的認(rèn)識(shí)， 且人們對(duì)于時(shí)尚的理解各不相同，“時(shí)尚款式”的定義是沒(méi)有一個(gè)統(tǒng)一的量化標(biāo)準(zhǔn)的。下圖給出了一些時(shí)尚圖像的例子， 可以看出, 圖像中服裝的時(shí)尚取決于很多方面： 服裝樣式、發(fā)型、 鞋子、 拍照?qǐng)鼍啊?身材等等。

為了解決這個(gè)難題，數(shù)據(jù)來(lái)源選自多個(gè)較高級(jí)時(shí)尚網(wǎng)站。這些網(wǎng)站往往通過(guò)時(shí)尚達(dá)人編輯的方式來(lái)推薦出時(shí)尚圖片，確保了服裝的時(shí)尚性與新穎性； 除此之后， 從視覺(jué)上影響圖像時(shí)尚程度的因素還有很多， 如背景灰暗、T臺(tái)秀、非全身圖、身材差、分辨率低等； 基于這類(lèi)數(shù)據(jù)訓(xùn)練低質(zhì)圖片過(guò)濾模型， 就能獲取最終的高質(zhì)時(shí)尚庫(kù)。

服裝搭配技術(shù)

簡(jiǎn)單講，服飾搭配就是一種通過(guò)用戶上衣（下裝），推薦時(shí)尚下裝（上衣）的技術(shù)。這里根據(jù)優(yōu)化目標(biāo)的不同將現(xiàn)有方法分為兩大類(lèi)： 基于上下衣度量學(xué)習(xí)的方法以及基于相似服飾檢索的方法。前者的實(shí)現(xiàn)基于不同服裝部件的度量學(xué)習(xí)： 適合搭配的上下裝距離應(yīng)該盡量的近，而不適合搭配的則要盡量的遠(yuǎn)。 后者假定時(shí)尚庫(kù)的圖像擁有優(yōu)質(zhì)的搭配, 將用戶服裝單品輸入時(shí)尚服裝數(shù)據(jù)庫(kù)的檢索引擎， 獲得語(yǔ)義與表觀相似的時(shí)尚推薦結(jié)果。目前，時(shí)尚搭配App—FOLLOW， 采用的就是基于檢索技術(shù)的解決方案。 圖10中個(gè)給出了FOLLOW搭配的效果, 歡迎掃碼試用。

總結(jié)與展望

本文回顧了基于深度學(xué)習(xí)的服裝檢索技術(shù)，并且基于這些方法， 概括出一套通用的商品特征學(xué)習(xí)框架。針對(duì)不同種類(lèi)商品圖像的采集， 給出了基于圖像搜索引擎的數(shù)據(jù)挖掘方法。后續(xù)仍有待進(jìn)一步探究的方向包括多品類(lèi)商品檢索技術(shù)、基于大規(guī)模同款數(shù)據(jù)的特征學(xué)習(xí)以及全自動(dòng)數(shù)據(jù)挖掘方法等。

作者簡(jiǎn)介：

?

嚴(yán)燦祥, 碩士畢業(yè)于中科院計(jì)算所VIPL課題組； 目前就職于百度深度學(xué)習(xí)研究院。主要從事商品檢索技術(shù)的研發(fā)。所在的識(shí)圖策略組包括商品搜索、相似搜索、相同搜索與圖像猜詞等方向。歡迎有實(shí)習(xí)意愿的同學(xué)投簡(jiǎn)歷至： yancanxiang@baidu.com

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754