摘要：本文介紹了兩篇年不僅較先進(jìn)，而且酷而有趣的兩篇論文。這些步驟涉及兩個概念，應(yīng)該更詳細(xì)地討論突變和適應(yīng)度函數(shù)。適應(yīng)度函數(shù)在進(jìn)化算法中，適應(yīng)度函數(shù)告訴我們給定孩子與實現(xiàn)既定目標(biāo)的距離。這里，適應(yīng)度函數(shù)包括兩個元素質(zhì)量適應(yīng)得分和多樣性健康得分。

本文介紹了兩篇2018年不僅較先進(jìn)，而且酷而有趣的兩篇論文。

作者|Damian Bogunowicz

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks：可視化和理解生成性對抗網(wǎng)絡(luò) - 考慮到GAN的火熱程度，很明顯這項技術(shù)遲早會在商業(yè)上使用。但是，由于我們對其內(nèi)在機制知之甚少，我認(rèn)為創(chuàng)建可靠的產(chǎn)品仍然很困難。這項工作幫助我們真正理解與控制GAN。查看他們精彩的互動演示進(jìn)化的

Evolutionary Generative Adversarial Networks - 這是一篇真正易讀且簡單易懂的文章。進(jìn)化算法與GAN一起 - 這一定很酷。

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

論文地址：

https://arxiv.org/pdf/1811.10597.pdf

主要思想

毫無疑問，GAN證明了深度神經(jīng)網(wǎng)絡(luò)的強大功能。 機器學(xué)習(xí)能夠生成令人驚嘆的高分辨率圖像，就好像它像我們一樣理解世界。 但是，就像其他統(tǒng)計模型一樣，他們較大的缺陷就是缺乏可解釋性。 這項研究向理解GAN邁出了非常重要的一步。 它允許我們在生成器中找到“負(fù)責(zé)”生成類別c中某些對象的單元。 作者聲稱，我們可以找到生成器的一層并找到一些單元，它們負(fù)責(zé)在生成的圖像中生成類別c的物體。 作者通過引入兩個步驟：解剖（Dissection）和干預(yù)（Intervention），為每個類別尋找一套“因果”單元。 此外，這可能是第一項工作，它為理解GAN的內(nèi)部機制提供了系統(tǒng)分析。

方法

生成器 G可以被視為潛在向量的映射 ? ? 到生成的圖像 X = G (z) ?。 我們的目標(biāo)是了解 r ，一種內(nèi)部表示，是生成器G的特定層的輸出。

X = G(z)= F(r)

我們想檢查一下r是否與類別c的對象密切相關(guān)。我們知道 r包含有關(guān)這些特定對象的生成的編碼信息。 我們的目標(biāo)是了解這些信息如何在內(nèi)部編碼。 作者聲稱有一種方法可以從r中提取這些單元，然后負(fù)責(zé)生成類別c的對象。

問題是，如何進(jìn)行這種分離？ 作者提出了兩個步驟，即解剖和干預(yù)。

解剖 - 我們想要識別我們感興趣的類，它們具有明確的表示形式 r。 這是通過比較兩個圖像來完成的。 我們通過計算x獲得第一張圖像，然后運行語義分割網(wǎng)絡(luò)，這將返回像感興趣的類別的像素位置s_c(x) 。 第二張圖是通過在特征圖上進(jìn)行上采樣，使其維度與x相匹配 。然后對其進(jìn)行閾值處理以確定哪個像素被該特定單元“點亮”。 最后我們計算兩個輸出之間的空間一致性， 值越高，說明類別c與該單位因果效應(yīng)越強。 通過對每個單元執(zhí)行此操作，我們最終可以找出類別c的用r中的單元的顯式表示 。

干預(yù) - 在這里我們要做的是確定相關(guān)的類別。 現(xiàn)在，我們試圖找到每個類別的較佳分割。 這意味著我們一方面消融（抑制）因果單元，希望感興趣的類別從生成的圖像中消失。 另一方面，我們放大它們對生成圖像的影響，希望在生成的圖片中有更多類別c的物體。 通過這種方式，我們可以了解它們對感興趣的類別c的存在有多大貢獻(xiàn) 。 最后，我們將通過類別分割的兩張圖片進(jìn)行比較。 語義圖之間越不像越好。 這意味著在一張圖像上我們完全“調(diào)整”了樹木的影響。

實驗結(jié)果：

a）由Progressive GAN生成的教堂圖像，b）給定預(yù)先訓(xùn)練的Progressive GAN，我們識別負(fù)責(zé)生成類“樹”的單元，c）我們可以抑制這些單元從圖像中“擦除”樹... d）放大圖像中樹木的密度

結(jié)果表明，我們正在理解網(wǎng)絡(luò)的內(nèi)部概念。 這些見解可以幫助我們改善網(wǎng)絡(luò)的行為。 了解圖像的哪些特征來自神經(jīng)網(wǎng)絡(luò)的哪個部分對于解釋，商業(yè)使用和進(jìn)一步研究非常有價值。

a）出于調(diào)試目的，我們可以識別引入工件......，b）和c）的那些單元并將它們關(guān)閉以“修復(fù)”GAN

它可以解決的一個問題是生成不合理的圖片。即使是訓(xùn)練的很好的GAN有時也會產(chǎn)生非常不切實際的形象，而這些錯誤的原因以前是未知的?，F(xiàn)在我們可以將這些錯誤與導(dǎo)致視覺偽像的神經(jīng)元集相關(guān)聯(lián)。通過識別和抑制這些單元，可以提高生成圖像的質(zhì)量。

通過將一些單位設(shè)置為固定的平均值，例如對于門，我們可以確保門將出現(xiàn)在圖像的某個位置。當(dāng)然，這不能違反分布的學(xué)習(xí)統(tǒng)計數(shù)據(jù)（我們不能強迫門出現(xiàn)在天空中）。另一個限制來自這樣的事實，即某些對象固有地鏈接到某些位置，因此無法從圖像中刪除它們。例如：人們不能簡單地從會議大廳移去椅子，只能減少它們的密度或大小。

Evolutionary Generative Adversarial Networks

論文鏈接：

https://arxiv.org/abs/1803.00657

主要思想：

在經(jīng)典設(shè)置中，通過使用反向傳播交替更新生成器和鑒別器來訓(xùn)練GAN。 這個最小較大博弈是通過利用目標(biāo)函數(shù)中的交叉熵機制來實現(xiàn)的。 E-GAN的作者提出了基于進(jìn)化算法的替代GAN框架。 它們以進(jìn)化問題的形式重述損失函數(shù)。 生成器的任務(wù)是在鑒別器的影響下經(jīng)歷恒定的突變。 根據(jù)“適者生存”的原則，人們希望上一代生成器能夠以這種方式“發(fā)展”，以便學(xué)習(xí)正確的訓(xùn)練樣本分布。

方法：

最初的GAN框架（左）與E-GAN框架（右）。在E-GAN框架中有一群生成器 G θ ?在動態(tài)環(huán)境中發(fā)展 - 鑒別者 d 。該算法涉及三個階段：變化，評估和選擇。較好的后代保留下一次迭代。

進(jìn)化算法試圖在給定環(huán)境中（這里是鑒別器）發(fā)展一群生成器。群體中的每個個體代表生成網(wǎng)絡(luò)的參數(shù)空間中的可能解決方案。演變過程歸結(jié)為三個步驟：

變化：生成器個體 G θ ?生產(chǎn)孩子 G θ 0 ， G θ 1 ， G θ 2 ....通過根據(jù)某些突變屬性修改自身。

評估：使用適應(yīng)度函數(shù)評估每個孩子，這取決于鑒別器的當(dāng)前狀態(tài)

選擇：評估每個孩子，并根據(jù)適應(yīng)度函數(shù)確定它是否足夠好。如果是，則保留，否則將其丟棄。 這些步驟涉及兩個概念，應(yīng)該更詳細(xì)地討論：突變和適應(yīng)度函數(shù)。

突變 - 這些是在變異步驟中引入孩子的變化。受到原始GAN培訓(xùn)目標(biāo)的啟發(fā)。作者區(qū)分了三種最有效的突變類型。這些是minmax突變（其促進(jìn)最小化Jensen-Shannon散度），啟發(fā)式突變（其添加反向Kullback-Leibler發(fā)散項）和最小二乘法突變（受LSGAN啟發(fā)）。

適應(yīng)度函數(shù) - 在進(jìn)化算法中，適應(yīng)度函數(shù)告訴我們給定孩子與實現(xiàn)既定目標(biāo)的距離。這里，適應(yīng)度函數(shù)包括兩個元素：質(zhì)量適應(yīng)得分和多樣性健康得分。前者確保，發(fā)生器產(chǎn)生的輸出可以欺騙鑒別器，而后者則注意生成樣本的多樣性。因此，一方面，教導(dǎo)的后代不僅要接近原始分布，還要保持多樣化，避免模式崩潰陷阱。

作者聲稱他們的方法解決了多個眾所周知的問題。 E-GAN不僅在穩(wěn)定性和抑制模式崩潰方面做得更好，還減輕了仔細(xì)選擇超參數(shù)和架構(gòu)（對收斂至關(guān)重要）的負(fù)擔(dān)。最后，作者聲稱E-GAN比傳統(tǒng)的GAN框架更快收斂。

實驗結(jié)果：?

該算法不僅在合成數(shù)據(jù)上進(jìn)行了測試，還對CIFAR-10數(shù)據(jù)集和Inception得分進(jìn)行了測試。作者修改了流行的GAN方法，如DCGAN，并在真實數(shù)據(jù)集上進(jìn)行了測試。結(jié)果表明，可以訓(xùn)練E-GAN從目標(biāo)數(shù)據(jù)分布生成各種高質(zhì)量的圖像。根據(jù)作者的說法，在每個選擇步驟中只保留一個孩子就足以成功地遍歷參數(shù)空間以達(dá)到較佳解決方案。我發(fā)現(xiàn)E-GAN的這個屬性真的很有趣。此外，通過仔細(xì)檢查空間連續(xù)性，我們可以發(fā)現(xiàn)，E-GAN確實學(xué)到了從潛在的嘈雜空間到圖像空間的有意義的投影。通過在潛在矢量之間插值，我們可以獲得生成的圖像，其平滑地改變語義上有意義的面部屬性。

原文鏈接：

https://dtransposed.github.io/blog/Best-of-GANs-2018-(Part-1-out-of-2).html

聲明：本文版權(quán)歸原作者所有，文章收集于網(wǎng)絡(luò)，為傳播信息而發(fā)，如有侵權(quán)，請聯(lián)系小編及時處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754