摘要：老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。昨天年月日，嚴(yán)東輝教授邀請(qǐng)老顧在泛華統(tǒng)計(jì)協(xié)會(huì)舉辦的應(yīng)用統(tǒng)計(jì)會(huì)議上做了深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告。小結(jié)最優(yōu)傳輸理論可以用于解釋深度學(xué)習(xí)中的概率分布變換。

（最近，哈佛大學(xué)丘成桐先生領(lǐng)導(dǎo)的團(tuán)隊(duì)，大連理工大學(xué)羅鐘鉉教授、雷娜教授領(lǐng)導(dǎo)的團(tuán)隊(duì)?wèi)?yīng)用幾何方法研究深度學(xué)習(xí)。老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為“深度學(xué)習(xí)的幾何觀點(diǎn)”的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。這里是報(bào)告的簡(jiǎn)要記錄，具體內(nèi)容見(jiàn)【1】。）

昨天（2018年6月15日），嚴(yán)東輝教授邀請(qǐng)老顧在泛華統(tǒng)計(jì)協(xié)會(huì)（ International Chinese Statistical Association）舉辦的應(yīng)用統(tǒng)計(jì)會(huì)議（ICSA2018 Applied Statistics Symposium）上做了“深度學(xué)習(xí)的幾何觀點(diǎn)”的報(bào)告。會(huì)議上Eric Xing教授給出報(bào)告，用統(tǒng)計(jì)概率的觀點(diǎn)統(tǒng)一了變分自動(dòng)編碼器（VAE，Variational Autoencoder）和生成對(duì)抗網(wǎng)絡(luò)（GAN，Generative Aderseral Network）。老顧用幾何觀點(diǎn)將VAE和GAN加以分析，再度闡述GAN模型中的對(duì)抗是虛擬的，沒(méi)有必要的，生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)是冗余的。（以前的博文曾經(jīng)系統(tǒng)闡述過(guò)，請(qǐng)見(jiàn) “虛構(gòu)的對(duì)抗，GAN with the wind”）下面我們從幾何角度詳細(xì)解釋。

圖1. 流形結(jié)構(gòu)。

我們前面闡述過(guò)深度學(xué)習(xí)成功的核心原因可以部分歸結(jié)為流形分布律和聚類(lèi)分布律（深度學(xué)習(xí)的幾何觀點(diǎn)（1） - 流形分布定律），深度學(xué)習(xí)的基本任務(wù)就在于從數(shù)據(jù)中學(xué)習(xí)流形結(jié)構(gòu)，建立流形的參數(shù)表達(dá)；和變換概率分布。

圖2. 隱空間的同胚映射，改變概率分布。

凸幾何理論

最優(yōu)傳輸?shù)睦碚撎烊坏睾屯箮缀伍h可夫斯基理論等價(jià)，因此我們可以用更為直觀的幾何觀點(diǎn)來(lái)分析概率變換問(wèn)題，從而可以將深度學(xué)習(xí)中的黑箱部分用透明的數(shù)學(xué)模型來(lái)取代。

圖3. 閔可夫斯基定理。

如圖3所示，給定一個(gè)凸多面體，每個(gè)面的法向量已知，面積已知，所有面的面積和法向量的乘積之和等于0，閔可夫斯基（Minkowski）定理證明這樣的凸多面體存在，并且彼此相差一個(gè)平移。

圖5. 亞歷山大定理。

這一理論可以直接推廣到任意維，證明不需要改動(dòng)。

Brenier理論，Alexandroff理論的等價(jià)關(guān)系

最優(yōu)傳輸?shù)腂renier理論和凸幾何的Alexandroff理論本質(zhì)上是等價(jià)的。下面我們來(lái)具體分析。

圖6. 離散最優(yōu)傳輸問(wèn)題。

圖7. 離散Brenier勢(shì)能函數(shù)的構(gòu)造。

圖6. 最優(yōu)傳輸映射的計(jì)算實(shí)例。

圖6顯示了這種方法的一個(gè)計(jì)算實(shí)例，首先我們將滴水獸曲面用黎曼映照映射到平面單位圓盤(pán)，黎曼映射的像如下行左幀所示，那么曲面的面元誘導(dǎo)了平面圓盤(pán)上的一個(gè)測(cè)度。平面圓盤(pán)上的歐氏面元定義了均勻測(cè)度。我們用上面講述的變分法來(lái)構(gòu)造平面圓盤(pán)到自身的最優(yōu)傳輸映射，最優(yōu)傳輸映射的像如下行右?guī)?。那么最?yōu)傳輸映射的結(jié)果給出了從曲面到平面圓盤(pán)的保面元映射。

對(duì)抗生成網(wǎng)絡(luò)（GAN）

2014年，Goodfellow 提出了GAN的概念，他的解釋如下：GAN的核心思想是構(gòu)造兩個(gè)深度神經(jīng)網(wǎng)絡(luò)：判別器D和生成器G，用戶(hù)為GAN提供一些真實(shí)貨幣作為訓(xùn)練樣本，生成器G生成假幣來(lái)欺騙判別器D，判別器D判斷一張貨幣是否來(lái)自真實(shí)樣本還是G生成的偽幣；判別器和生成器交替訓(xùn)練，能力在博弈中同步提高，最后達(dá)到平衡點(diǎn)的時(shí)候判別器無(wú)法區(qū)分樣本的真?zhèn)危善鞯膫卧旃δ軤t火純青，生成的貨幣幾可亂真。這種計(jì)算機(jī)左右手互搏的對(duì)抗圖景，使得GAN成為更為吸引人的深度學(xué)習(xí)模型。

圖7. WassersteinGAN的理論框架。

這意味著：在最優(yōu)情況下，判別器D由生成器G的結(jié)果直接給出；生成器G由判別器D的結(jié)果直接給出；判別器D和生成器G之間的對(duì)抗是虛擬的；判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)是冗余的。這和人們對(duì)于GAN模型生成器、判別器相克相生的想象大相徑庭。

半透明深度網(wǎng)絡(luò)模型

圖8. 半透明深度網(wǎng)絡(luò)模型。

傳統(tǒng)的變分自動(dòng)編碼器VAE核心想法是將隱空間的概率分布變換成高斯分布，手法相當(dāng)曲折。

因?yàn)楦怕首儞Q可以用最優(yōu)傳輸理論來(lái)清晰闡釋?zhuān)⑶矣门ｎD法優(yōu)化凸能量可以保證全局最優(yōu)性，和高階收斂速度，我們可以將深度學(xué)習(xí)中的概率變換部分分離出來(lái)，用透明的數(shù)學(xué)模型來(lái)取代，其他部分依然用傳統(tǒng)的黑箱來(lái)運(yùn)算，如此得到了半透明的網(wǎng)絡(luò)模型【4】。

real digits and VAE results

WGAN and AE-OMT

圖9. 半透明網(wǎng)絡(luò)的計(jì)算結(jié)果和其他模型的計(jì)算結(jié)果比較。

我們將半透明網(wǎng)絡(luò)做為生成模型，在手寫(xiě)體數(shù)據(jù)集合上進(jìn)行測(cè)試。如圖9所示，半透明網(wǎng)絡(luò)的計(jì)算結(jié)果優(yōu)于傳統(tǒng)的VAE和WGAN結(jié)果。

圖10. VAE和半透明網(wǎng)絡(luò)比較。

我們將半透明網(wǎng)絡(luò)做為生成模型，在人臉圖片數(shù)據(jù)集合上進(jìn)行測(cè)試。如圖10所示，半透明網(wǎng)絡(luò)的計(jì)算結(jié)果優(yōu)于傳統(tǒng)的VAE結(jié)果。

小結(jié)

最優(yōu)傳輸理論可以用于解釋深度學(xué)習(xí)中的概率分布變換。最優(yōu)傳輸?shù)腂renier理論和凸幾何中的Alexandroff理論等價(jià)，我們的理論結(jié)果給出了基于變分法的構(gòu)造。在這種情形下，生成器和判別器彼此等價(jià)，它們之間的對(duì)抗不再需要，網(wǎng)絡(luò)體系結(jié)構(gòu)可以大幅簡(jiǎn)化。在深度學(xué)習(xí)中，我們可以將流形降維和概率變換分開(kāi)，用透明的最優(yōu)傳輸模型來(lái)部分取代黑箱，得到半透明網(wǎng)絡(luò)模型。

References? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

Na Lei, Zhongxuan Luo, Shing-Tung Yau and David Xianfeng Gu. ?"Geometric Understanding of Deep Learning". arXiv:1805.10451?.?

https://arxiv.org/abs/1805.10451

Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. "Variational principles for minkowski type problems, discrete optimal transport", and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383-398, 2016.

Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, "A Geometric View of Optimal Transportation and Generative Model", arXiv:1710.05488. https://arxiv.org/abs/1710.05488

Huidong L，Xianfeng Gu, Dimitris Samaras, "A Two-Step Computation of the Exact GAN Wasserstein Distance", ICML 2018.

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754