摘要：表示類別為，坐標(biāo)是的預(yù)測熱點圖，表示相應(yīng)位置的，論文提出變體表示檢測目標(biāo)的損失函數(shù)由于下采樣，模型生成的熱點圖相比輸入圖像分辨率低。模型訓(xùn)練損失函數(shù)使同一目標(biāo)的頂點進(jìn)行分組，損失函數(shù)用于分離不同目標(biāo)的頂點。

好久沒有將較好的“干貨”分享給大家，那今天我給大家?guī)鞥CCV-2018年最優(yōu)paper之一，也是目標(biāo)檢測里的佼佼者，值得我們?nèi)ド钔冢W(xué)習(xí)！

目標(biāo)檢測算法概述

CornerNet可以說是今年ECCV一大亮點，其主要是由密歇根大學(xué)Hei Law等人創(chuàng)作，并在ECCV2018上發(fā)表，主要實現(xiàn)了更加精準(zhǔn)的目標(biāo)檢測算法。但是，今天在開始介紹接下來主角“CornerNet”之前，我?guī)Т蠹蚁群唵位貞浵耾bject detection領(lǐng)域的主流算法，如果有興趣的您，可以瀏覽如下的文章：

超級干貨 | 從神經(jīng)元到CNN、RNN、GAN…神經(jīng)網(wǎng)絡(luò)看本文夠了

深度學(xué)習(xí)近期總結(jié)分析

接下來主要回顧之前流行算法的原因，是因為CornerNet的主要算法和現(xiàn)在的主流算法框架很很多不一樣。

在深度學(xué)習(xí)領(lǐng)域的目標(biāo)檢測算法中，現(xiàn)在主要分為One-stage(如：SSD, YOLO，YOLO后期還出了更多的較精確度和速度極高的版本)和Two-stage(如經(jīng)典的RCNN系列)兩種。

One-stage是直接在輸入的圖片上經(jīng)過各種卷積池化類的計算，從其意思也可以理解，就是一個階段，一般為end-to-end框架，經(jīng)過復(fù)雜的計算后，最終生成detections。但是，Two-stage則與其與眾不同，其主要是先去提取候選區(qū)域, 再基于提取的候選區(qū)域進(jìn)行第二次修正。

通過實驗和框架的計算復(fù)雜度明顯可以看得出，One-stage的網(wǎng)絡(luò)框架速度快, 但是最終的檢測精度會較低點，而Two-stage精度高, 但由于框架復(fù)雜度提高，檢測速度會隨之變慢，最終的選擇取決使用的實際應(yīng)用。

自從AlexNet在ImageNet大賽上取得第一的成績，而且遠(yuǎn)遠(yuǎn)超越第二名，因此深度學(xué)習(xí)有一次出名，掀起了深度學(xué)習(xí)新的一次浪潮。之后，Ross Girshick又將卷積神經(jīng)網(wǎng)絡(luò)（CNN）取代了傳統(tǒng)的HOG、HOF和DPM等特征提取方法。

具體的一些之前流行算法，您可以點擊如下鏈接進(jìn)行閱讀。

深度學(xué)習(xí)近期總結(jié)分析

圖 1 Faster RCNN算法框架

Motivation

CornerNet認(rèn)為Two-stage目標(biāo)檢測最明顯的缺點是區(qū)域候選階段需要提取的anchor boxes。

提取的anchor boxes數(shù)量較多，比如DSSD使用40k，RetinaNet使用100k，anchor boxes眾多造成anchor boxes征服樣本均衡；

Anchor boxes需要調(diào)整很多超參數(shù)，比如anchor boxes數(shù)量、尺寸、比率，影響模型的訓(xùn)練和推斷速率。

本次提出的One-stage的檢測方法，舍棄傳統(tǒng)的 anchor boxes思路，提出CornerNet模型預(yù)測目標(biāo)邊界框的左上角和右下角一對頂點，即，使用單一卷積模型生成熱點圖和連接矢量：所有目標(biāo)的左上角和所有目標(biāo)的右下角熱點圖，每個頂點的連接矢量(embedding vector)。

圖 2 CornerNet框架

主要思路其實來源于一篇多人姿態(tài)估計的論文。

基于CNN的2D多人姿態(tài)估計方法，通常有2個思路（Bottom-Up Approaches和Top-Down Approaches）：

Top-Down framework：就是先進(jìn)行行人檢測，得到邊界框，然后在每一個邊界框中檢測人體關(guān)鍵點，連接成每個人的姿態(tài)，缺點是受人體檢測框影響較大，代表算法有RMPE；

Bottom-Up framework：就是先對整個圖片進(jìn)行每個人體關(guān)鍵點部件的檢測，再將檢測到的人體部位拼接成每個人的姿態(tài)，代表方法就是openpose。

本次的第一個創(chuàng)新是講目標(biāo)檢測上升到方法論，基于多人姿態(tài)估計的Bottom-Up思想，首先同時預(yù)測定位框的頂點對（左上角和右下角）熱點圖和embedding vector，根據(jù)embedding vector對頂點進(jìn)行分組。

第二個創(chuàng)新是提出了corner pooling用于定位頂點。自然界的大部分目標(biāo)是沒有邊界框也不會有矩形的頂點，依top-left corner pooling 為例，對每個channel，分別提取特征圖的水平和垂直方向的較大值，然后求和。

圖 3 corner pooling計算方式

本次paper認(rèn)為corner pooling之所以有效，是因為：

目標(biāo)定位框的中心難以確定，和邊界框的4條邊相關(guān)，但是每個頂點只與邊界框的兩條邊相關(guān)，所以corner 更容易提??；

頂點更有效提供離散的邊界空間，實用O(wh)頂點可以表示O(w2h2) anchor boxes。

Paper的第三個創(chuàng)新是模型基于hourglass架構(gòu)，使用focal loss的變體訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

論文提出的CornerNet在MS COCO測試驗證，達(dá)到42.1% AP，完勝所有的One-stage目標(biāo)檢測方法，基于PyTorch源碼請在公眾號回復(fù)CornerNet。

Architecture

Overview

圖 4 CornerNet模型架構(gòu)

如圖 4所示，CornerNet模型架構(gòu)包含三部分，Hourglass Network,Bottom-right corners&Top-left Corners Heatmaps和Prediction Module。

Hourglass Network是人體姿態(tài)估計的典型架構(gòu)，論文堆疊兩個Hourglass Network生成Top-left和Bottom-right corners，每一個corners都包括corners Pooling，以及對應(yīng)的Heatmaps, Embeddings vector和offsets。embedding vector使相同目標(biāo)的兩個頂點（左上角和右下角）距離最短， offsets用于調(diào)整生成更加緊密的邊界定位框。

Detecting Corners

Paper模型生成的heatmaps包含C channels（C是目標(biāo)的類別，沒有background channel），每個channel是二進(jìn)制掩膜，表示相應(yīng)類別的頂點位置。

對于每個頂點，只有一個ground-truth，其他位置都是負(fù)樣本。在訓(xùn)練過程，模型減少負(fù)樣本，在每個ground-truth頂點設(shè)定半徑r區(qū)域內(nèi)都是正樣本，這是因為落在半徑r區(qū)域內(nèi)的頂點依然可以生成有效的邊界定位框，論文中設(shè)置IoU=0.7。

pcij表示類別為c，坐標(biāo)是（i,j）的預(yù)測熱點圖，ycij表示相應(yīng)位置的ground-truth，論文提出變體Focal loss表示檢測目標(biāo)的損失函數(shù)：

由于下采樣，模型生成的熱點圖相比輸入圖像分辨率低。論文提出偏移的損失函數(shù)，用于微調(diào)corner和ground-truth偏移。

Grouping Corners

輸入圖像會有多個目標(biāo)，相應(yīng)生成多個目標(biāo)的左上角和右下角頂點。對頂點進(jìn)行分組，論文引入Associative Embedding的思想，模型在訓(xùn)練階段為每個corner預(yù)測相應(yīng)的embedding vector，通過embedding vector使同一目標(biāo)的頂點對距離最短，既模型可以通過embedding vector為每個頂點分組。

模型訓(xùn)練Lpull損失函數(shù)使同一目標(biāo)的頂點進(jìn)行分組， Lpush損失函數(shù)用于分離不同目標(biāo)的頂點。

Hourglass Network

Hourglass Network同時包含了bottom-up（from high resolutions to low resolutions)和top-down (from low resolutions to high resolutions)。而且，整個網(wǎng)絡(luò)有多個bottom-up和top-down過程。這樣設(shè)計的目的是在各個尺度下抓取信息。針對目標(biāo)檢測任務(wù)，論文調(diào)整了Hourglass一些策略。

Experiments

論文的訓(xùn)練損失函數(shù)包含了第三部分介紹的4個損失函數(shù)，α, β 和γ用于調(diào)整相應(yīng)損失函數(shù)的權(quán)重：

模型訓(xùn)練過程中使用10個Titan X (PASCAL) GPUs，詳細(xì)的訓(xùn)練參數(shù)可參考原論文。模型的推斷時間是244ms/ image (Titan XPASCAL GPU)。

CornerNet相比其它one-stage目標(biāo)檢測算法，MS COCO數(shù)據(jù)集測試AP有明顯提高，雖然性能接近于Two-stage檢測算法，但是推斷時間無明顯優(yōu)勢。

Table 4MS COCO test-dev數(shù)據(jù)集性能對比

Discussion

個人觀點：CornerNet創(chuàng)新來自于多人姿態(tài)估計的Bottom-Up思路，預(yù)測corner的heatmps,根據(jù)Embeddings vector對corner進(jìn)行分組，其主干網(wǎng)絡(luò)也來自于姿態(tài)估計的Hourglass Network。模型的源碼請在公眾號回復(fù)：CornerNet獲取，可以放心研究測試。

CV的很多任務(wù)之間是相通的，CVPR2018 best paper也印證這一觀點，在不同的子領(lǐng)域?qū)ふ蚁嗨菩?，遷移不同領(lǐng)域的算法，是CV行業(yè)一個趨勢。

多人姿態(tài)估計的Hourglass Network算法也不斷改進(jìn)中，其實論文模型的推斷速率受限于Hourglass Network的特征提取，有志青年也可以沿著這個思路取得更好的性能。

Newell, A., Huang, Z., Deng, J.: Associative embedding: End-to-end learning for joint detection and grouping. In: Advances in Neural Information Processing Systems. pp. 2274{2284 (2017)

Hei Law, Jia Deng :CornerNet: Detecting Objects as Paired Keypoints.ECCV2018

Girshick, R.: Fast r-cnn. arXiv preprint arXiv:1504.08083 (2015)

Girshick, R., Donahue, J., Darrell, T., Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 580{587 (2014)

Lin, T.Y., Goyal, P., Girshick, R., He, K., Doll′ar, P.: Focal loss for dense object detection. arXiv preprint arXiv:1708.02002 (2017)

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.Y., Berg, A.C.:SSD: Single shot multibox detector. In: European conference on computer vision.pp. 21{37. Springer (2016)

Newell, A., Yang, K., Deng, J.: Stacked hourglass networks for human pose estimation. In: European Conference on Computer Vision. pp. 483{499. Springer (2016)

Amir R. Zamir , Alexander Sax Taskonomy: Disentangling Task Transfer Learning.CVPR2018

文章地址

https://arxiv.org/abs/1808.01244

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系小編及時處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754