摘要：深度神經(jīng)網(wǎng)絡(luò)推動(dòng)視覺語言理解和語音識(shí)別等領(lǐng)域取得了前所未有的進(jìn)步。這個(gè)標(biāo)量值隨后將組成該神經(jīng)元的激活矢量。繪圖的軸包含按類別排序的圖像灰色虛線表示類別邊界，軸則是神經(jīng)元的輸出值。左圖顯示了和中的兩個(gè)較高激活較大的歐氏范數(shù)神經(jīng)元。

深度神經(jīng)網(wǎng)絡(luò) (DNN) 推動(dòng)視覺、語言理解和語音識(shí)別等領(lǐng)域取得了前所未有的進(jìn)步。但是，這些成功也帶來了一些新挑戰(zhàn)。特別是，與許多之前的機(jī)器學(xué)習(xí)方法不同，DNN 在分類中容易受對抗樣本的影響，在強(qiáng)化學(xué)習(xí)任務(wù)中容易出現(xiàn)災(zāi)難性遺忘，以及在生成式建模中容易發(fā)生模式崩潰。為了構(gòu)建更好、更可靠的 DNN 系統(tǒng)，能夠解釋這些模型就顯得尤為重要。具體來說，我們想要為 DNN 引入一種表示相似性概念：我們能夠有效確定兩個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)到的表示在何時(shí)相同嗎？

在論文“SVCCA:Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability”中：

https://arxiv.org/abs/1706.05806

我們引入了一種簡單、可擴(kuò)展的方法來解決這些問題。我們研究的兩個(gè)具體應(yīng)用是比較不同網(wǎng)絡(luò)學(xué)到的表示和解釋 DNN 中的隱藏層學(xué)到的表示。此外，我們還將代碼開源，以便研究社區(qū)可以使用這種方法進(jìn)行試驗(yàn)：

https://github.com/google/svcca

我們設(shè)置的關(guān)鍵是將 DNN 中的每一個(gè)神經(jīng)元解釋為一個(gè)激活矢量。如下圖中所示，神經(jīng)元的激活矢量是它在輸入數(shù)據(jù)上生成的標(biāo)量輸出。例如，對于 50 個(gè)輸入圖像，DNN 中的一個(gè)神經(jīng)元將輸出 50 個(gè)標(biāo)量值，將每個(gè)輸入對應(yīng)的值編碼。這 50 個(gè)標(biāo)量值隨后將組成該神經(jīng)元的激活矢量。（當(dāng)然，實(shí)踐中的輸入遠(yuǎn)遠(yuǎn)多于 50 個(gè)。）

這里的 DNN 有三個(gè)輸入：x1、x2、x3?？匆幌?DNN 內(nèi)部的神經(jīng)元（紅色加粗，右圖，這個(gè)神經(jīng)元生成了一個(gè)標(biāo)量輸出 zi ，對應(yīng)于每個(gè)輸入 xi。這些值構(gòu)成了神經(jīng)元的激活矢量。

基于這一基本觀察和一些公式，我們引入了“奇異矢量典型相關(guān)分析”(SVCCA)，這種技術(shù)采集兩組神經(jīng)元，然后輸出二者學(xué)到的對齊特征圖。重要的是，這種技術(shù)會(huì)考慮神經(jīng)元排序中的排列（對比較不同網(wǎng)絡(luò)至關(guān)重要）等表面差異，并且能夠檢測其他更直接的比較無法檢測的相似性。

例如，假設(shè)在 CIFAR-10（一個(gè)中等規(guī)模圖像分類任務(wù)）上訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)（下面的 net1 和 net2）。為了將這種方法的結(jié)果可視化，我們比較了神經(jīng)元的激活矢量與 SVCCA 輸出的對齊特征?；叵胍幌拢窠?jīng)元的激活矢量是輸入圖像上的原始標(biāo)量輸出。繪圖的 x 軸包含按類別排序的圖像（灰色虛線表示類別邊界），y 軸則是神經(jīng)元的輸出值。

左圖顯示了 net1 和 net2 中的兩個(gè)較高激活（較大的歐氏范數(shù)）神經(jīng)元。檢查較高激活神經(jīng)元是計(jì)算機(jī)視覺領(lǐng)域解釋 DNN 的常用方法，但是在這種情況下，net1 和 net2 中的較高激活神經(jīng)元沒有清晰的對應(yīng)關(guān)系，盡管兩者都是在同一個(gè)任務(wù)上訓(xùn)練的。不過在應(yīng)用 SVCCA 后，如右圖所示，我們可以看到兩個(gè)網(wǎng)絡(luò)學(xué)到的潛在表示確實(shí)有一些非常相似的共有特征。請注意，表示對齊特征圖的最上面兩行接近一致，次高對齊特征圖（最下面兩行）也是一樣。此外，右圖中的這些對齊映射還顯示出與類別邊界的清晰對應(yīng)關(guān)系。例如，我們看到最上面的對為類別 8 提供負(fù)輸出，而最下面的對為類別 2 和類別 7 提供正輸出。

您不僅可以將 SVCCA 應(yīng)用到不同的網(wǎng)絡(luò)，也可以將它用于相同網(wǎng)絡(luò)的不同時(shí)間，這就讓研究網(wǎng)絡(luò)中的不同層如何收斂到它們的最終表示成為可能。下圖比較了 net1 中各層在訓(xùn)練中的表示（y 軸）和各層在訓(xùn)練結(jié)束時(shí)的表示（x 軸）。例如，在左上角的圖（名稱為“0% trained”）中，x 軸表示 net1 中的各層在 100% 訓(xùn)練后增加的深度，y 軸表示各層在 0% 訓(xùn)練時(shí)增加的深度。每個(gè) (i,j) 方格隨后可以告訴我們層 i 在 100% 訓(xùn)練后的表示與層 j 在 0% 訓(xùn)練時(shí)的表示之間的相似程度。左下角是輸入層，在 0% 到 100% 訓(xùn)練狀態(tài)下的表示一致，符合預(yù)期。我們對在 CIFAR-10 上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（最上面一行）和殘差網(wǎng)絡(luò)（最下面一行）的多個(gè)訓(xùn)練點(diǎn)進(jìn)行了比較，例如 0%、35%、75% 和 100% 訓(xùn)練狀態(tài)。

顯示卷積網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)在 CIFAR-10 上的學(xué)習(xí)動(dòng)態(tài)的繪圖。請注意，還可以看到附加結(jié)構(gòu)：最上面一行的 2x2 塊得益于批量歸一化層，下面一行中的棋盤格樣式則是由于存在殘差連接。

我們找到了自下而上收斂的證據(jù)，接近輸入的層先收斂，層越高收斂時(shí)間越長。這就引出了一種更快的訓(xùn)練方法 - 凍結(jié)訓(xùn)練。請參閱我們的論文了解詳細(xì)信息。此外，這種可視化還有助于突出顯示網(wǎng)絡(luò)的屬性。在最上面一行中，存在多個(gè) 2x2 塊。這些塊對應(yīng)于批歸一化層，與先前的層在表示上是相同的。在最下面一行中，當(dāng)訓(xùn)練快要結(jié)束時(shí)，我們看到出現(xiàn)了類似棋盤格的樣式，這是由于網(wǎng)絡(luò)的殘差連接與先前的層有更大的相似性。

目前，我們主要將 SVCCA 應(yīng)用到 CIFAR-10 上。不過，利用預(yù)處理技術(shù)與離散傅里葉變換，我們還可以將這種方法擴(kuò)大到 Imagenet 規(guī)模的模型。我們將這種技術(shù)應(yīng)用到了 Imagenet Resnet 上，比較了潛在表示與不同類別對應(yīng)表示之間的相似性：

不同類別的潛在表示的 SVCCA 相似性。我們在 Imagenet Resnet 中利用了不同的層，其中 0 表示輸入，74 表示輸出，并比較了隱藏層和輸出類別的表示相似性。有趣的是，不同類別的學(xué)習(xí)速度不同：消防車類別的學(xué)習(xí)速度要快于不同犬種的學(xué)習(xí)速度。此外，兩對犬種（哈士奇類對和?犬類對）的學(xué)習(xí)速度相同，這反映出它們的視覺相似性。

我們的論文介紹了目前研究成果的更多細(xì)節(jié)，也探索了不同的應(yīng)用，例如，通過投影到 SVCCA 輸出來壓縮 DNN，以及凍結(jié)訓(xùn)練，這是一種更節(jié)省計(jì)算資源的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。在探索 SVCCA 的過程中，我們發(fā)現(xiàn)了很多令人興奮的新方向 - 其中，移動(dòng)到不同的架構(gòu)上、比較不同的數(shù)據(jù)集和更好地可視化對齊方向是我們很想嘗試的領(lǐng)域。我們希望代碼可以鼓舞許多研究人員將 SVCCA 應(yīng)用到他們的網(wǎng)絡(luò)表示中，解釋和理解他們的網(wǎng)絡(luò)正在學(xué)習(xí)的內(nèi)容。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754