摘要：雅虎開源了一個(gè)進(jìn)行色情圖像檢測(cè)的深度學(xué)習(xí)解決方案。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)和權(quán)衡近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像分類問題中取得了巨大成功。自年以來，新的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)一直在不斷改進(jìn)標(biāo)準(zhǔn)分類挑戰(zhàn)的精度。

雅虎開源了一個(gè)進(jìn)行色情圖像檢測(cè)的深度學(xué)習(xí)解決方案。據(jù)文章介紹，這可能是較早的識(shí)別 NSFW 圖像的開源模型。

開源地址：https://github.com/yahoo/open_nsfw

自動(dòng)識(shí)別一張對(duì)工作做來說并不適合/不保險(xiǎn)的圖像（Not Suitable/Safe For Work - NSFW）——包括暴力圖像和成人圖像——是研究者們幾十年來一直在試圖解決的重要問題。由于當(dāng)下圖像與用戶生成的內(nèi)容主宰了互聯(lián)網(wǎng)，過濾 NSFW 圖像成為網(wǎng)頁應(yīng)用和移動(dòng)應(yīng)用的一個(gè)重要組成部分。

隨著計(jì)算機(jī)視覺、改進(jìn)的訓(xùn)練數(shù)據(jù)和深度學(xué)習(xí)算法的發(fā)展，計(jì)算機(jī)現(xiàn)在能夠以更高的精度來自動(dòng)分類 NSFW 圖像內(nèi)容。

NSFW 素材的定義是主觀的，而識(shí)別這些圖像的任務(wù)并非沒有價(jià)值。此外，在某一語境下使人反感的東西卻可以適合于另一語境。為此，我們下文所描述的模型只側(cè)重于一種 NSFW 內(nèi)容：色情圖像。NSFW 簡(jiǎn)筆圖、漫畫、文字、寫實(shí)暴力圖像或其他不當(dāng)內(nèi)容的識(shí)別解決方案不適用于此模型。

據(jù)我們目前所知，還沒有用以識(shí)別 NSFW 圖像的開源模型或算法。秉承合作精神并懷揣推進(jìn)這一努力的希望，我們發(fā)布了自己的深度學(xué)習(xí)模型，它能讓開發(fā)者使用一個(gè) NSFW 檢測(cè)分類器來進(jìn)行實(shí)驗(yàn)，同時(shí)向我們提供反饋以改善分類器的性能。

我們的通用 Caffe 深度神經(jīng)網(wǎng)絡(luò)模型（general purpose Caffe deep neural network model）以圖像作為輸入并輸出一個(gè)概率（即一個(gè)介于 0 和 1 之間的數(shù)字），可用于檢測(cè)和過濾 NSFW 圖像。開發(fā)者可以針對(duì)具體使用情況來用這個(gè)概率過濾掉 ROC 曲線上低于某個(gè)適當(dāng)閾值的圖像，或用在搜索結(jié)果中進(jìn)行圖像排名。

卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)和權(quán)衡

近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像分類問題中取得了巨大成功。自 2012 年以來，新的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)一直在不斷改進(jìn)標(biāo)準(zhǔn) ImageNet 分類挑戰(zhàn)的精度。一些主要突破包括了 AlexNet（2012）、GoogLeNet、VGG（2013）和殘差網(wǎng)絡(luò)（Residual Networks）（2015）。

這些網(wǎng)絡(luò)在運(yùn)行時(shí)間、內(nèi)存需求和準(zhǔn)確性方面有不同的權(quán)衡。運(yùn)行時(shí)間和內(nèi)存需求的主要指標(biāo)是：

Flops 或連接——一個(gè)神經(jīng)網(wǎng)絡(luò)中的連接數(shù)量決定了向前傳播過程之中的計(jì)算操作數(shù)量，這與圖像識(shí)別時(shí)的網(wǎng)絡(luò)運(yùn)行時(shí)間成比例。

參數(shù)——一個(gè)神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量決定了加載網(wǎng)絡(luò)所需的內(nèi)存量。

理想情況下，我們希望一個(gè)網(wǎng)絡(luò)擁有最少的 flops 和最少的參數(shù)，而達(dá)到較大精度。

訓(xùn)練用于 NSFW 識(shí)別的深度網(wǎng)絡(luò)

我們使用一個(gè)包含正（即 NSFW）圖像和負(fù)（即 SFW-suitable/safe for work）圖像的數(shù)據(jù)集來訓(xùn)練模型。

由于數(shù)據(jù)屬性的問題，我們沒有發(fā)布訓(xùn)練圖像或其他細(xì)節(jié)，但我們開源了可用于開發(fā)者獨(dú)立進(jìn)行分類的輸出模型。

我們使用 Caffe 深度學(xué)習(xí)庫（Caffe deep learning library）和 CaffeOnSpark；后者是一個(gè)用于分布式學(xué)習(xí)的強(qiáng)大開源框架，令你可以在 Hadoop 和 Spark 模型訓(xùn)練集群中使用 Caffe 深度學(xué)習(xí)。

在訓(xùn)練過程中，圖像被重新調(diào)整到 256x256 像素，水平翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，并被隨機(jī)裁剪為 224x224 像素，然后送入網(wǎng)絡(luò)。在訓(xùn)練殘差網(wǎng)絡(luò)時(shí)，我們使用了 ResNet 論文中所描述的規(guī)模增大（scale augmentation）來避免過度擬合。我們?cè)u(píng)估各種架構(gòu)來找到運(yùn)行時(shí)間和精度之間的權(quán)衡。

MS_CTC——這種架構(gòu)是由微軟限制時(shí)間成本的那篇論文提出。它在卷積層和全連接層相結(jié)合的速度和精度方面秒殺了 AlexNet。

Squeezenet——這種架構(gòu)提出了 fire 模塊——包含層擠壓，然后擴(kuò)大輸入數(shù)據(jù)團(tuán)。這有助于節(jié)省參數(shù)數(shù)量，使 Imagenet 的精度與 AlexNet 的一樣好，盡管內(nèi)存需求僅為 6MB。

VGG——這種架構(gòu)有 13 層卷積層和 3 層 FC 層。

GoogLeNet——GoogLeNet 提出了 Inception 模塊并擁有 20 個(gè)卷積層階段。它還在中間層中使用 hanging loss functions 來解決深度網(wǎng)絡(luò)中的梯度遞減問題。

ResNet——ResNet 使用快捷連接來解決梯度遞減問題。我們使用了作者所發(fā)布的 50 層的殘差網(wǎng)絡(luò)。

ResNet-thin——該模型是使用我們的 pynetbuilder 工具生成，并復(fù)制了殘差網(wǎng)絡(luò)論文中的 50 層網(wǎng)絡(luò)（每層過濾器的半數(shù)）。你可以在這里（https://github.com/jay-mahadeokar/pynetbuilder/tree/master/models/imagenet）找到更多有關(guān)如何生成和訓(xùn)練模型的細(xì)節(jié)。

不同架構(gòu)之間的權(quán)衡：精度 vs（網(wǎng)絡(luò)中的）flops 數(shù)量 vs（網(wǎng)絡(luò)中的）參數(shù)數(shù)量。

深度模型首次在 ImageNet 1000 類數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。我們將每個(gè)網(wǎng)絡(luò)的最后一層（FC1000）更換為 2 節(jié)點(diǎn)的全連接層。然后我們精調(diào) NSFW 數(shù)據(jù)集中的權(quán)重。注意我們讓與最后的 FC 層相乘的學(xué)習(xí)率是精調(diào)后的其他層的 5 倍。我們還調(diào)整了超參數(shù)（hyper parameters）（步長(zhǎng)、基本學(xué)習(xí)率）以優(yōu)化性能。

我們觀察到，NSFW 分類任務(wù)的模型性能與 ImageNet 分類任務(wù)中的預(yù)訓(xùn)練模型性能有關(guān)，所以如果我們有一個(gè)更好的預(yù)訓(xùn)練模型，它將有助于精調(diào)分類任務(wù)。下面的圖表顯示了我們所提出的 NSFW 評(píng)估集合的相對(duì)性能。請(qǐng)注意，圖中的假正率（FPR）和一個(gè)固定的假負(fù)率（FNR）所針對(duì)的是我們的評(píng)估數(shù)據(jù)，在這里作說明用。要用該模型進(jìn)行 NSFW 過濾的話，我們建議你們使用自己的數(shù)據(jù)來繪制 ROC 曲線并挑選一個(gè)合適的閾值。

在 Imagenet 上的模型與在 NSFW 數(shù)據(jù)集上精調(diào)的模型的性能比較

我們發(fā)布了 thin ResNet 50 模型，因?yàn)樗跍?zhǔn)確度方面做了很好的折中，并且該模型在運(yùn)行時(shí)間（CPU 上運(yùn)行時(shí)間 < 0.5 秒）和內(nèi)存（~ 23 MB）方面體量輕巧。請(qǐng)參閱我們的 Git 庫來查看我們的模型指令和用法。我們鼓勵(lì)開發(fā)者嘗試將此模型用于 NSFW 過濾的情況。如有任何關(guān)于模型性能的問題或反饋，我們都會(huì)支持并盡快回復(fù)。

結(jié)果可以通過在你的數(shù)據(jù)集上精調(diào)模型來改進(jìn)。如果你改善了性能或者訓(xùn)練了一個(gè)使用不同架構(gòu)的 NSFW 模型，我們都鼓勵(lì)那么為模型貢獻(xiàn)出力或?qū)㈡溄臃窒淼轿覀兊拿枋鲰撁妗?/p>歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754