摘要：介紹是谷歌使用基于開發(fā)的語義分割模型，至今已更新個版本。最新版本是，在此模型中進(jìn)一步將深度可分離卷積應(yīng)用到孔空間金字塔池化和解碼器模塊，從而形成更快，更強(qiáng)大的語義分割編碼器解碼器網(wǎng)絡(luò)。

DeepLab是谷歌使用tensorflow基于CNN開發(fā)的語義分割模型，至今已更新4個版本。最新版本是DeepLabv3+，在此模型中進(jìn)一步將深度可分離卷積應(yīng)用到孔空間金字塔池化和解碼器模塊，從而形成更快，更強(qiáng)大的語義分割編碼器-解碼器網(wǎng)絡(luò)。本文從官方案例出發(fā)，介紹如何訓(xùn)練以及使用DeepLabv3+模型。

1,下載tensorflow model，然后將解壓后的文件重命名為”models“并移動到tensorflow文件夾下。

2，添加環(huán)境變量

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

3，測試是否安裝成功

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

python deeplab/model_test.py

結(jié)果出現(xiàn)如下錯誤：

解決方法如下：

下載數(shù)據(jù)：

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research/deeplab/datasets/

sh download_and_convert_voc2012.sh

具體執(zhí)行步驟：

下載并解壓VOC2012數(shù)據(jù)集

移除colormap

在數(shù)據(jù)集中創(chuàng)建TFRecord文件

官方提供了多種模型，可以根據(jù)自己的實際需求下載安裝。

文件結(jié)構(gòu)：

tensorflow deeplab文件夾：

訓(xùn)練：

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

填寫相關(guān)路徑，執(zhí)行訓(xùn)練

python deeplab/train.py 
    --logtostderr 
    --training_number_of_steps=30000 
    --train_split="train" 
    --model_variant="xception_65" 
    --atrous_rates=6 
    --atrous_rates=12 
    --atrous_rates=18 
    --output_stride=16 
    --decoder_output_stride=4 
    --train_crop_size=513 
    --train_crop_size=513 
    --train_batch_size=1 
    --dataset="pascal_voc_seg" 
    --tf_initial_checkpoint=${PATH_TO_INITIAL_CHECKPOINT} 
    --train_logdir=${PATH_TO_TRAIN_DIR} 
    --dataset_dir=${PATH_TO_DATASET}

PATH_TO_INITIAL_CHECKPOINT：初始checkpoint文件路徑（遷移學(xué)習(xí)）
PATH_TO_TRAIN_DIR：訓(xùn)練模型保存路徑
PATH_TO_DATASET：數(shù)據(jù)集路徑

需要注意的問題：

當(dāng)GPU顯存不夠，使用遷移學(xué)習(xí)方式進(jìn)行訓(xùn)練并減少學(xué)習(xí)率大小，設(shè)置”fine_tune_batch_norm=False“

當(dāng)設(shè)置”output_stride=8“,”atrous_rates“取值區(qū)間應(yīng)由[6,12,18]改為[12,24,36]。

當(dāng)不想使用解碼器結(jié)構(gòu)，需要注釋掉”decoder_output_stride“。

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

python deeplab/eval.py 
    --logtostderr 
    --eval_split="val" 
    --model_variant="xception_65" 
    --atrous_rates=6 
    --atrous_rates=12 
    --atrous_rates=18 
    --output_stride=16 
    --decoder_output_stride=4 
    --eval_crop_size=513 
    --eval_crop_size=513 
    --dataset="pascal_voc_seg" 
    --checkpoint_dir=${PATH_TO_CHECKPOINT} 
    --eval_logdir=${PATH_TO_EVAL_DIR} 
    --dataset_dir=${PATH_TO_DATASET}

PATH_TO_CHECKPOINT：訓(xùn)練階段checkpoint文件路徑
PATH_TO_EVAL_DIR：評估模型保存路徑
PATH_TO_DATASET：數(shù)據(jù)集路徑

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

python deeplab/vis.py 
    --logtostderr 
    --vis_split="val" 
    --model_variant="xception_65" 
    --atrous_rates=6 
    --atrous_rates=12 
    --atrous_rates=18 
    --output_stride=16 
    --decoder_output_stride=4 
    --vis_crop_size=513 
    --vis_crop_size=513 
    --dataset="pascal_voc_seg" 
    --checkpoint_dir=${PATH_TO_CHECKPOINT} 
    --vis_logdir=${PATH_TO_VIS_DIR} 
    --dataset_dir=${PATH_TO_DATASET}

PATH_TO_CHECKPOINT：訓(xùn)練階段checkpoint文件路徑
PATH_TO_VIS_DIR：評估模型保存路徑
PATH_TO_DATASET：數(shù)據(jù)集路徑
需要注意的問題：
當(dāng)需要保存分割結(jié)果時，需要設(shè)置”also_save_raw_predictions = True“

tensorboard --logdir=${PATH_TO_LOG_DIRECTORY}

將同時顯示”train“，”eval“，”vis“結(jié)果，如需要多帶帶顯示一類，可以指定顯示類別，如：

tensorboard --logdir train/

對于voc2012這樣的數(shù)據(jù)集，Tensorboard顯示數(shù)據(jù)可能需要幾分鐘的時間。

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research

python deeplab/export_model.py 
    --logtostderr 
    --checkpoint_path="${PATH_TO_CHECKPOINT}" 
    --export_path="${PATH_TO_EXPORT_PD}" 
    --model_variant="xception_65" 
    --atrous_rates=6 
    --atrous_rates=12 
    --atrous_rates=18 
    --output_stride=16 
    --decoder_output_stride=4 
    --num_classes=21 
    --crop_size=513 
    --crop_size=513 
    --inference_scales=1.0

PATH_TO_CHECKPOINT：checkpoint文件路徑
PATH_TO_EXPORT_PD：導(dǎo)出PD文件路徑（加后綴.pd）

cd /anaconda3/lib/python3.6/site-packages/tensorflow/models/research/deeplab

sh local_test.sh

Google Colab在線測試地址，可選擇預(yù)訓(xùn)練模型，測試分割照片來查看模型輸出結(jié)果。

基于深度學(xué)習(xí)的語義分割與傳統(tǒng)基于隨機(jī)森林的方法相比有了很大的進(jìn)步，雖然目前基于深度學(xué)習(xí)的方法有多種思路，不過基本都是基于全卷積（FCN）衍變而來。FCN將網(wǎng)絡(luò)全連接層使用卷積替代，因此可以接受任意大小的輸入并且針對下采樣存在位置信息丟失等問題，采用轉(zhuǎn)置卷積用于恢復(fù)圖片尺寸，方便后續(xù)進(jìn)行逐像素預(yù)測。
DeepLab模型為了改善分割效果，使用atrous卷積（空洞卷積），ASPP，全連接條件隨機(jī)場等技術(shù)。