摘要：昨天，研究院開源了，業(yè)內(nèi)較佳水平的目標(biāo)檢測(cè)平臺(tái)。項(xiàng)目地址是實(shí)現(xiàn)頂尖目標(biāo)檢測(cè)算法包括的軟件系統(tǒng)。因此基本上已經(jīng)是最目前包含最全與最多目標(biāo)檢測(cè)算法的代碼庫(kù)了。

昨天，F(xiàn)acebook AI 研究院（FAIR）開源了 Detectron，業(yè)內(nèi)較佳水平的目標(biāo)檢測(cè)平臺(tái)。據(jù)介紹，該項(xiàng)目自 2016 年 7 月啟動(dòng)，構(gòu)建于 Caffe2 之上，目前支持大量機(jī)器學(xué)習(xí)算法，其中包括 Mask R-CNN（何愷明的研究，ICCV 2017 較佳論文）和 Focal Loss for Dense Object Detection，（ICCV 2017 較佳學(xué)生論文）。Facebook 稱，該工具包已被應(yīng)用與公司內(nèi)部很多團(tuán)隊(duì)?wèi)?yīng)用于各類應(yīng)用中，一旦訓(xùn)練完成，這些計(jì)算機(jī)視覺模型可被部署在云端或移動(dòng)設(shè)備上。

項(xiàng)目地址：https://github.com/facebookresearch/Detectron

Detectron?

Detectron 是 Facebook AI Research 實(shí)現(xiàn)頂尖目標(biāo)檢測(cè)算法（包括 Mask R-CNN）的軟件系統(tǒng)。該系統(tǒng)是基于 Python 和深度學(xué)習(xí)框架 Caffe 2 而構(gòu)建的。

在 FAIR 實(shí)驗(yàn)室，Detectron 目前已經(jīng)支持很多研究項(xiàng)目的實(shí)現(xiàn)，包括：

Feature Pyramid Networks for Object Detection (https://arxiv.org/abs/1612.03144)

Mask R-CNN (https://arxiv.org/abs/1703.06870)

Detecting and Recognizing Human-Object Interactions (https://arxiv.org/abs/1704.07333)

Focal Loss for Dense Object Detection (https://arxiv.org/abs/1708.02002)

Non-local Neural Networks (https://arxiv.org/abs/1711.07971)

Learning to Segment Every Thing (https://arxiv.org/abs/1711.10370)

Data Distillation: Towards Omni-Supervised Learning (https://arxiv.org/abs/1712.04440)

Mask R-CNN 輸出示例

簡(jiǎn)介

Detectron 的目標(biāo)是為目標(biāo)檢測(cè)研究提供高質(zhì)量、高性能的代碼庫(kù)，它靈活的特性可以支持快速實(shí)現(xiàn)和驗(yàn)證新研究。Detectron 目前包含以下目標(biāo)檢測(cè)算法的實(shí)現(xiàn)：

Mask R-CNN (https://arxiv.org/abs/1703.06870)—Marr Prize at ICCV 2017

RetinaNet (https://arxiv.org/abs/1708.02002)—Best Student Paper Award at ICCV 2017

Faster R-CNN (https://arxiv.org/abs/1506.01497)

RPN (https://arxiv.org/abs/1506.01497)

Fast R-CNN (https://arxiv.org/abs/1504.08083)

R-FCN (https://arxiv.org/abs/1605.06409)

這些目標(biāo)檢測(cè)算法主要使用以下卷積網(wǎng)絡(luò)架構(gòu)：

ResNeXt{50,101,152} (https://arxiv.org/abs/1611.05431)

ResNet{50,101,152} (https://arxiv.org/abs/1512.03385)

Feature Pyramid Networks (https://arxiv.org/abs/1612.03144) (with ResNet/ResNeXt)

VGG16 (https://arxiv.org/abs/1409.1556)

在這些目標(biāo)檢測(cè)算法中，我們比較熟悉的就是 Mask R-CNN，它是在 Faster R-CNN 上的擴(kuò)展，即在用于邊界框識(shí)別的分支上添加了一個(gè)并行的分支以預(yù)測(cè)目標(biāo)掩碼。該方法能夠有效地檢測(cè)圖像中的目標(biāo)，同時(shí)還能為每個(gè)實(shí)例生成一個(gè)高質(zhì)量的分割掩碼。而在 RetinaNet 中，研究者提出了全新的 Focal Loss 方法，并集中于稀疏、困難樣本中的訓(xùn)練，避免了訓(xùn)練過程中可能出現(xiàn)的大量負(fù)面因素。該論文的研究者表示，當(dāng)使用 Focal Loss 進(jìn)行訓(xùn)練時(shí)，RetinaNet 可以達(dá)到此前一步檢測(cè)器的速度，同時(shí)準(zhǔn)確性高于業(yè)內(nèi)較佳的兩步檢測(cè)器。除了這兩個(gè)在 ICCV 2017 大為出彩的目標(biāo)檢測(cè)算法外，其它如 Fast R-CNN 和 R-FCN 等都是十分優(yōu)秀和經(jīng)典的目標(biāo)檢測(cè)方案。

在卷積網(wǎng)絡(luò)架構(gòu)中，值得注意的是特征金字塔型網(wǎng)絡(luò)（FPN），它主要融合了多層特征而改進(jìn)了 CNN 的特征提取方式。它利用了 CNN 固有的多尺度、多層級(jí)的金字塔結(jié)構(gòu)去構(gòu)建特征金字塔網(wǎng)絡(luò)，并使用一種自上而下的 Skip Connector 在所有尺度上構(gòu)建高級(jí)語(yǔ)義特征圖。

上述的檢測(cè)算法和 CNN 架構(gòu)在目標(biāo)檢測(cè)任務(wù)上都有非常好的效果，他們基本上展現(xiàn)了該領(lǐng)域最優(yōu)的水平。而 Detectron 包含了這些算法和架構(gòu)的一大組基線結(jié)果和已訓(xùn)練模型，我們可以直接下載它們。例如下圖是 RetinaNet 的基線結(jié)果與對(duì)應(yīng)的模型下載地址，它同時(shí)還提供了訓(xùn)練和推斷過程中的有用數(shù)據(jù)。

我們粗略統(tǒng)計(jì)了一下，該項(xiàng)目有 70 多個(gè)不同設(shè)定的預(yù)訓(xùn)練模型。因此 Detectron 基本上已經(jīng)是最目前包含最全與最多目標(biāo)檢測(cè)算法的代碼庫(kù)了。此外，該項(xiàng)目也提供了安裝指南，包括 Caffe 2 和 COCO 數(shù)據(jù)集。值得注意的是，該代碼庫(kù)用的是 Python 2，它還需要 NVIDIA GPU、Linux 系統(tǒng)和其它一些標(biāo)準(zhǔn)的 Python 數(shù)值計(jì)算包。

模型庫(kù)與基線結(jié)果：https://github.com/facebookresearch/Detectron/blob/master/MODEL_ZOO.md

安裝指導(dǎo)：https://github.com/facebookresearch/Detectron/blob/master/INSTALL.md

最后，Detectron 還提供了一個(gè)文檔以展示如何使用該研究工具。例如我們?cè)趫D像文件目錄執(zhí)行推斷，我們可以直接使用 infer.simple.py 工具。在下面的案例中，我們使用了一個(gè)端到端已訓(xùn)練的 Mask R-CNN 模型（以 ResNet-101-FPN 為基本卷積架構(gòu)）執(zhí)行推斷：

--cfg configs/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml

--output-dir /tmp/detectron-visualizations

--image-ext jpg

--wts https://s3-us-west-2.amazonaws.com/detectron/35861858/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml.02_32_51.SgT4y1cO/output/train/coco_2014_train:coco_2014_valminusminival/generalized_rcnn/model_final.pkl

demo

更多詳細(xì)的使用文檔請(qǐng)查看：https://github.com/facebookresearch/Detectron/blob/master/GETTING_STARTED.md。

參考文獻(xiàn)

Data Distillation: Towards Omni-Supervised Learning. Ilija Radosavovic, Piotr Dollár, Ross Girshick, Georgia Gkioxari, and Kaiming He. Tech report, arXiv, Dec. 2017.

Learning to Segment Every Thing. Ronghang Hu, Piotr Dollár, Kaiming He, Trevor Darrell, and Ross Girshick. Tech report, arXiv, Nov. 2017.

Non-Local Neural Networks. Xiaolong Wang, Ross Girshick, Abhinav Gupta, and Kaiming He. Tech report, arXiv, Nov. 2017.

Mask R-CNN. Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. IEEE International Conference on Computer Vision (ICCV), 2017.

Focal Loss for Dense Object Detection. Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. IEEE International Conference on Computer Vision (ICCV), 2017.

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour. Priya Goyal, Piotr Dollár, Ross Girshick, Pieter Noordhuis, Lukasz Wesolowski, Aapo Kyrola, Andrew Tulloch, Yangqing Jia, and Kaiming He. Tech report, arXiv, June 2017.

Detecting and Recognizing Human-Object Interactions. Georgia Gkioxari, Ross Girshick, Piotr Dollár, and Kaiming He. Tech report, arXiv, Apr. 2017.

Feature Pyramid Networks for Object Detection. Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

Aggregated Residual Transformations for Deep Neural Networks. Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

R-FCN: Object Detection via Region-based Fully Convolutional Networks. Jifeng Dai, Yi Li, Kaiming He, and Jian Sun. Conference on Neural Information Processing Systems (NIPS), 2016.

Deep Residual Learning for Image Recognition. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Conference on Neural Information Processing Systems (NIPS), 2015.

Fast R-CNN. Ross Girshick. IEEE International Conference on Computer Vision (ICCV), 2015.?

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754