資訊專欄INFORMATION COLUMN
摘要：一段時間以來，我一直在嘗試使用生成神經(jīng)網(wǎng)絡(luò)制作人物肖像。生成圖像的質(zhì)量與低分辨率輸出實現(xiàn)密切相關(guān)。在第一階段，根據(jù)給定描述生成相對原始的形狀和基本的色彩，得出低分辨圖像。使用生成的圖像比現(xiàn)有方法更加合理逼真。
一段時間以來，我一直在嘗試使用生成神經(jīng)網(wǎng)絡(luò)制作人物肖像。早期試驗基于類似 Deep Dream 的方法，但最近我開始將精力集中在 GAN 上面。當(dāng)然，無論在什么時候，高精度和較精確的細(xì)節(jié)都是很難實現(xiàn)的，使用 GAN 生成人臉也一樣。首先，這些網(wǎng)絡(luò)的感受野往往不到 256×256 像素的大小。
解決這個問題的一種辦法是使用 stack GAN。我用基于 stack GAN 的方法，終于將像素提升到 768×768 的大小，最多使用 3 個階段 stack 將像素提升到了 4k×4k。我不在意結(jié)果是否真實，但細(xì)節(jié)紋理逼真很重要。
為了減少 artifact（模糊不清的地方），我需要應(yīng)對 mode collapse 等各種問題。具體說，光滑皮膚和多毛皮膚之間，第二階段 GAN 是 meta stable，往往導(dǎo)致輸出變成一塊一塊的。
現(xiàn)在我使用的最多是 vanilla GAN。當(dāng)然，我覺得我也該試一下 WGAN、CramerGAN 或 BEGAN，因為大家都說后面幾種收斂更好。
下面就是我使用 GAN 生成的空想人物肖像（我選了效果比較好的放上來）。
生成圖像的質(zhì)量與低分辨率輸出（lowres output）實現(xiàn)密切相關(guān)。我通常在第一階段生成 128×128 或者 256×256 像素的結(jié)果，然后在第二階段提升至 768×768 或者 1024×1024。大多數(shù)情況下，生成的結(jié)果都很糟糕，遠(yuǎn)遠(yuǎn)沒有我挑選出來的這幾張好，但有些時候會出現(xiàn)非常富有藝術(shù)性的圖像，偶爾看上去還像是有藝術(shù)風(fēng)格誕生。
我在最后的第三階段將像素提升到 4k。但是，實際上我并沒有這個像素級別的訓(xùn)練數(shù)據(jù)，也就是說，網(wǎng)絡(luò)做的只是大致預(yù)測邊緣是否平滑等等。
系統(tǒng)不可能知道皮膚高分辨率的人臉數(shù)據(jù)庫。毛孔或睫毛這些細(xì)節(jié)。因此，我們需要一個與高分辨率的人臉數(shù)據(jù)庫。
考慮到最終的印刷效果，在這種分辨率下故意保留一些 artifact 可能還不錯（相比 ）。
Mike Tyka 參考了下面這篇論文中所提到的方法 Stack-GAN，并且在論文基礎(chǔ)上做了 3 次堆疊。有興趣你也可以一試：）
摘要
根據(jù)文本描述合成逼真圖像是計算機(jī)視覺一大挑戰(zhàn)，也有很多應(yīng)用。使用現(xiàn)有方法合成的圖像在細(xì)節(jié)和生動方面差強(qiáng)人意。本文中，我們提出 StakeGAN 方法，根據(jù)文本描述生成逼真的圖像。在第一階段（Stage-I GAN），GAN 根據(jù)給定描述生成相對原始的形狀和基本的色彩，得出 Stage-I 低分辨圖像。Stage-II GAN 將 Stage-I GAN 和文本描述作為輸入，生成高分辨率的逼真圖像。Stage-II GAN 能夠修正錯誤，增加令人信服的效果和細(xì)節(jié)。使用 StackGAN 生成的圖像比現(xiàn)有方法更加合理逼真。最重要的是，StackGAN 根據(jù)文本第一次生成 256×256 像素的圖像，現(xiàn)有方法最多只能生成 128×128 像素的圖像。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4568.html
摘要：據(jù)報道，生成對抗網(wǎng)絡(luò)的創(chuàng)造者，前谷歌大腦著名科學(xué)家剛剛正式宣布加盟蘋果。他將在蘋果公司領(lǐng)導(dǎo)一個機(jī)器學(xué)習(xí)特殊項目組。在加盟蘋果后會帶來哪些新的技術(shù)突破或許我們很快就會看到了。 據(jù) CNBC 報道，生成對抗網(wǎng)絡(luò)（GAN）的創(chuàng)造者，前谷歌大腦著名科學(xué)家 Ian Goodfellow 剛剛正式宣布加盟蘋果。他將在蘋果公司領(lǐng)導(dǎo)一個「機(jī)器學(xué)習(xí)特殊項目組」。雖然蘋果此前已經(jīng)縮小了自動駕駛汽車研究的規(guī)模，但...
摘要：文本谷歌神經(jīng)機(jī)器翻譯去年，谷歌宣布上線的新模型，并詳細(xì)介紹了所使用的網(wǎng)絡(luò)架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)。目前唇讀的準(zhǔn)確度已經(jīng)超過了人類。在該技術(shù)的發(fā)展過程中，谷歌還給出了新的，它包含了大量的復(fù)雜案例。谷歌收集該數(shù)據(jù)集的目的是教神經(jīng)網(wǎng)絡(luò)畫畫。 1. 文本1.1 谷歌神經(jīng)機(jī)器翻譯去年，谷歌宣布上線 Google Translate 的新模型，并詳細(xì)介紹了所使用的網(wǎng)絡(luò)架構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。關(guān)鍵結(jié)果：與...
閱讀 4074·2021-09-23 11:32
閱讀 2925·2021-09-06 15:01
閱讀 1804·2021-08-18 10:24
閱讀 3705·2019-12-27 11:44
閱讀 3764·2019-08-30 15:52
閱讀 2666·2019-08-30 11:11
閱讀 901·2019-08-29 17:27
閱讀 748·2019-08-29 16:22
