摘要：陳啟峰認為，這種技術(shù)前途大好，最終可以用于創(chuàng)造真正模擬現(xiàn)實世界的游戲場景。小學(xué)時，陳啟峰先后獲得全國作文競賽二等獎和奧數(shù)競賽一等獎。年，歲的陳啟峰發(fā)表論文，提出數(shù)據(jù)結(jié)構(gòu)。

『凡所有相，皆是虛妄』

上面這張德國街道圖片，乍一看像是行車記錄儀拍的，又好像谷歌街景照片加了復(fù)古濾鏡。

實際上，這是一張合成圖片。

在谷歌地圖上，根本找不到這樣的街道。一個神經(jīng)網(wǎng)絡(luò)，根據(jù)自己在訓(xùn)練過程中見過的真實街道，生成了它。

比GAN更強

生成這張照片的算法出自英特爾實驗室的新論文Photographic Image Synthesis with Cascaded Refinement Networks，用級聯(lián)優(yōu)化網(wǎng)絡(luò)生成照片。

在論文中，斯坦福大學(xué)博士陳啟峰和英特爾實驗室視覺組主管Vladlen Koltun展示了一種根據(jù)語義布局來合成照片的方法。所謂語義布局，就是像這樣，在圖片上標出各種物體的位置：

而他們的算法可以看作一個渲染引擎，輸入上面的圖片，就相當于告訴它圖片中間是道路、路上有車、上半部分有樹、有交通燈、右上有一些行人，然后按照圖上的布局，輸出一張逼真的照片。

陳啟峰在自己的博客中說，“好比機器想象出來的畫面?！?/p>

經(jīng)過3000張德國街道照片的訓(xùn)練，遇到輸入的布局上標注成“car”的部分，這個見過很多車的算法就會自己生成一輛車，填在那里。

現(xiàn)在一提到生成、或者合成圖像，可能大部分人都會立刻想到對抗生成網(wǎng)絡(luò)（GAN），不過，陳啟峰等的算法并沒有用到對抗式訓(xùn)練，而只用了一個端到端訓(xùn)練過的前饋網(wǎng)絡(luò)。

和各種往往只能生成小尺寸圖片的GAN不同，他們提出的方法可以“無縫擴展”到高分辨率，1024×2014像素的圖像也能搞定。

當然，他們在論文里也展示了自己的算法如何將各種基于GAN的生成模型秒成渣渣：

下面的視頻中，能更清楚的看到這個算法和pix2pix的對比：

這篇論文入選了今年10月在威尼斯舉辦的國際計算機視覺大會ICCV 2017，要進行口頭報告，相應(yīng)的源代碼在GitHub上已經(jīng)收獲了402個星，月初還登頂了GitHub熱門項目Python排行榜。

現(xiàn)實，夢境

康奈爾大學(xué)計算機系副教授Noah Snavely深受打動，他說，創(chuàng)建逼真的人工場景非常困難，即便是當今較好的方法也無法做到，而陳奇峰的系統(tǒng)生成出了他見過的較大、最詳細的人工場景。

他認為，這項技術(shù)可以讓人們描述一個世界，然后讓人工智能在虛擬現(xiàn)實中將其打造出來?！叭绻軌騼H憑大聲描述就能像魔法一樣召喚出逼真的場景，那就太好了?！彼f。

陳啟峰認為，這種技術(shù)前途大好，最終可以用于創(chuàng)造真正模擬現(xiàn)實世界的游戲場景。他說：“使用深度學(xué)習(xí)渲染視頻游戲可能成為未來的趨勢?！爆F(xiàn)在，他已經(jīng)開始嘗試利用這套算法來替換《俠盜獵車手5》里的游戲場景。

不過，他對這個系統(tǒng)還有一點不滿：合成的畫面不夠逼真。陳啟·峰表示，因為這套神經(jīng)網(wǎng)絡(luò)渲染細節(jié)的能力還無法達到我們的預(yù)期，所以目前生成的圖片比較模糊，有點像夢境。他正在開發(fā)一個更大的版本，希望能夠提升系統(tǒng)功能。

在這一點上，Snavely比作者還樂觀。他說，具體到構(gòu)建虛擬現(xiàn)實場景，這種夢境般的效果未必是壞事，我們也不見得需要完全寫實的效果。

他更期待的，是讓這個系統(tǒng)能生成道路和室內(nèi)布局之外的場景。Snavely說，要真正實現(xiàn)該系統(tǒng)的潛力，還是需要一套能夠真正捕捉現(xiàn)實世界多樣性的數(shù)據(jù)集。

但說起來容易做起來難，想用這個系統(tǒng)生成真是世界中的各種場景，需要借助大量的人力，對訓(xùn)練中使用的圖片進行詳細標記。

關(guān)于陳啟峰

這篇論文的作者陳啟峰，經(jīng)歷也頗為傳奇。陳啟峰生于1989年6月，成長于廣東省中山市。小學(xué)時，陳啟峰先后獲得全國作文競賽二等獎和奧數(shù)競賽一等獎。

2006年，17歲的陳啟峰發(fā)表論文，提出數(shù)據(jù)結(jié)構(gòu)Size Balanced Tree（SBT）。2007年，陳啟峰在IOI上獲得推薦（第八名）；2008年，陳啟峰以中學(xué)生身份獲得中山“十大杰出青年”稱號。

也是在2008年，陳啟峰放棄保送清華的資格，進入香港科技大學(xué)就讀，并獲得54萬港幣全額獎學(xué)金。期間全部22門計算機課程都獲得A+。2010年，陳啟峰獲得百度之星編程大賽第三名。

2011年，陳啟峰在ACM國際大學(xué)生程序設(shè)計競賽獲得推薦（全球第二，北美冠軍）。同年還獲得香港大學(xué)生編程比賽冠軍。

2012年，斯坦福、哈佛、麻省理工、普林斯頓、加州大學(xué)伯克利分校、哥倫比亞、康奈爾、加州大學(xué)洛杉磯分校、密歇根大學(xué)安娜堡分校九所高校，同時以全額獎學(xué)金錄取陳啟峰攻讀研究生學(xué)位，最終他入讀斯坦福。

最后，放一張陳啟峰6月的博士畢業(yè)照。

相關(guān)鏈接

項目主頁：

http://cqf.io/ImageSynthesis

論文：

http://web.stanford.edu/~cqf/papers/Photographic_Image_Synthesis_ICCV2017.pdf

代碼：

https://github.com/CQFIO/PhotographicImageSynthesis

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754