資訊專欄INFORMATION COLUMN
摘要：可以想象，監(jiān)督式學(xué)習(xí)和增強式學(xué)習(xí)的不同可能會防止對抗性攻擊在黑盒測試環(huán)境下發(fā)生作用，因為攻擊無法進入目標(biāo)策略網(wǎng)絡(luò)。我們的實驗證明，即使在黑盒測試中，使用特定對抗樣本仍然可以較輕易地愚弄神經(jīng)網(wǎng)絡(luò)策略。
機器學(xué)習(xí)分類器在故意引發(fā)誤分類的輸入面前具有脆弱性。在計算機視覺應(yīng)用的環(huán)境中，對這種對抗樣本已經(jīng)有了充分研究。論文中，我們證明了對于強化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)策略，對抗性攻擊依然有效。我們特別論證了，現(xiàn)有的制作樣本的技術(shù)可以顯著降低訓(xùn)練策略在測試時的性能。我們的威脅模型認為對抗攻擊會為神經(jīng)網(wǎng)絡(luò)策略的原始輸入引入小的干擾。針對對抗樣本攻擊，我們通過白盒測試和黑盒測試， 描述了任務(wù)和訓(xùn)練算法中體現(xiàn)的脆弱程度。 無論是學(xué)習(xí)任務(wù)還是訓(xùn)練算法，我們都觀測到了性能的顯著下降，即使對抗干擾微小到無法被人類察覺的程度。
深度學(xué)習(xí)和深度強化學(xué)習(xí)最近的進展使得涵蓋了從原始輸入到動作輸出的end-to-end學(xué)習(xí)策略變?yōu)榭赡?。深度強化學(xué)習(xí)算法的訓(xùn)練策略已經(jīng)在Atari 游戲和圍棋中取得了驕人的成績，展現(xiàn)出復(fù)雜的機器操縱技巧，學(xué)習(xí)執(zhí)行了運動任務(wù)，并在顯示世界中進行了無人駕駛。
這些策略由神經(jīng)網(wǎng)絡(luò)賦予了參數(shù)，并在監(jiān)督式學(xué)習(xí)中表現(xiàn)出對于對抗性攻擊的脆弱性。例如，對訓(xùn)練用于分類圖像的卷積神經(jīng)網(wǎng)絡(luò)，添加進入輸入圖像的干擾可能會引起網(wǎng)絡(luò)對圖像的誤分，而人類卻看不出加入干擾前后的圖像有何不同。論文中，我們會研究經(jīng)過深度強化學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)策略，是否會受到這樣的對抗樣本的影響。
不同于在學(xué)習(xí)過程中處理修正后的訓(xùn)練數(shù)據(jù)集的監(jiān)督式學(xué)習(xí)，在增強式學(xué)習(xí)中，這些訓(xùn)練數(shù)據(jù)是在整個訓(xùn)練過程中逐漸被收集起來的。換句話說，用于訓(xùn)練策略的算法，甚至是策略網(wǎng)絡(luò)加權(quán)的隨機初始態(tài)，都會影響到訓(xùn)練中的狀態(tài)和動作。不難想象，根據(jù)初始化和訓(xùn)練方式的不同，被訓(xùn)練做相同任務(wù)的策略，可能大相徑庭（比如從原始數(shù)據(jù)中提取高級特征）。因此，某些特定的學(xué)習(xí)算法可能導(dǎo)致出現(xiàn)較為不受對抗樣本影響的策略。可以想象，監(jiān)督式學(xué)習(xí)和增強式學(xué)習(xí)的不同可能會防止對抗性攻擊在黑盒測試環(huán)境下發(fā)生作用，因為攻擊無法進入目標(biāo)策略網(wǎng)絡(luò)。
圖表1：產(chǎn)生對抗樣本的兩種方法，適用于借助DQN算法玩PONG游戲來進行策略訓(xùn)練。點形箭頭從小球開始，表明了其運動方向，綠色的箭頭則強調(diào)了對于特定輸入來說較大化Q值的action。兩種情況下，對于原始輸入，策略都采取了好的action，但對抗性干擾都造成了小球和點的遺失。
上圖：對抗性樣本使用FGSM構(gòu)造，對抗干擾帶有l(wèi)∞-norm constraint；轉(zhuǎn)化為8-bit的圖像編碼率后，對抗性輸入和原始輸入相等，但仍然影響了性能。
下圖：對抗性樣本使用FGSM構(gòu)造，對抗干擾帶有l(wèi)∞-norm constraint；最優(yōu)干擾是在真實的小球下方創(chuàng)造一個“假的”小球。
我們的主要貢獻是描寫了兩個因素對于對抗樣本的作用效果：用于學(xué)習(xí)策略的深度強化學(xué)習(xí)算法，以及對抗性攻擊自己是否能進入策略網(wǎng)絡(luò)（白盒測試vs.黑盒測試）。我們首先分析了對4種Atari games的3類白盒攻擊，其中游戲是經(jīng)過3種深度強化學(xué)習(xí)算法訓(xùn)練過的（DQN、TRPO和A3C）。我們論證了，整體上來說，這些經(jīng)訓(xùn)練的策略對于對抗樣本是脆弱的。然而，經(jīng)過TRPO和A3C訓(xùn)練的策略似乎對于對抗樣本的抵抗性更好。圖表1顯示了在測試時的特定一刻，兩個對經(jīng)過DQN訓(xùn)練的Pong策略的對抗性攻擊樣本。
接著，我們考察了對于相同策略的黑盒攻擊，前提是我們假設(shè)對抗性攻擊進入到了訓(xùn)練環(huán)境（例如模擬器），但不是目標(biāo)策略的隨機初始態(tài)，而且不知道學(xué)習(xí)策略是什么。在計算機視覺方面，Szegedy等人觀測到了可傳遞特性：一個設(shè)計用于被一種模型誤分的對抗樣本經(jīng)常會被其他經(jīng)過訓(xùn)練來解決相同問題的模型誤分。我們觀測到在強化學(xué)習(xí)應(yīng)用中，整個數(shù)據(jù)集里也存在這樣的可傳遞特性，即一個設(shè)計用于干擾某種策略運行的對抗樣本也會干擾另一種策略的運行，只要這些策略是訓(xùn)練用于解決同樣的問題。特別的，我們觀測到對抗樣本會在使用不同trajectory rollouts算法進行訓(xùn)練的模型之間傳遞，會在使用不同訓(xùn)練算法進行訓(xùn)練的模型之間傳遞。
下面介紹一下關(guān)于實驗的基本情況。
我們在 Arcade Learning Environment 模擬器中評估了針對4種Atari 2600游戲的對抗性攻擊，四種游戲是：Chopper Command, Pong, Seaquest, and Space Invaders.
我們用3種深度強化學(xué)習(xí)算法對每個游戲進行了訓(xùn)練：A3C、TRPO和DQN。
對于DQN，我們使用了與附錄1相同的前處理和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。我們也把這一結(jié)構(gòu)用于經(jīng)A3C和TRPO訓(xùn)練的隨機策略。需要指出，對神經(jīng)網(wǎng)絡(luò)策略的輸入是最后4副圖像的連續(xù)體，從RGB轉(zhuǎn)換為Luminance（Y），大小修改為to 84 × 84。Luminance value被定義為從0到1。策略的輸出所有可能的action的分布。
對于每個游戲和訓(xùn)練算法，我們從不同的隨機初始態(tài)開始訓(xùn)練了5個策略。我們主要關(guān)注了表現(xiàn)較好的訓(xùn)練策略（我們的定義是那些在最后10次訓(xùn)練迭代中拿到較大分?jǐn)?shù)的80%的策略）。我們最終為每個游戲和訓(xùn)練算法選取了3個策略。有一些特定組合（比如Seaquest和A3C）僅有一條策略達到要求。
我們在rllab框架內(nèi)部進行了實驗，使用了TRPO的rllab 平行版本，并整合了DQN和A3C。我們使用OpenAI Gym enviroments作為Arcade Learning Environment的交互界面。
我們在 Amazon EC2 c4.8x large machines上用TRPO和A3C進行了策略訓(xùn)練。運行TRPO時每100，000步有2000次迭代，用時1.5到2天。KL散度設(shè)在0.01；運行A3C時，我們使用了18 actor-learner threads，learning rate是0.0004。對于每個策略，每1,000,000步進行200次迭代，耗時1.5到2天；運行DQN時，我們在Amazon EC2 p2.xlarge machines上進行策略訓(xùn)練。每代 100000步，訓(xùn)練2天。
這一研究方向?qū)τ谏窠?jīng)網(wǎng)絡(luò)策略在線上和現(xiàn)實世界的布局都有顯著意義。我們的實驗證明，即使在黑盒測試中，使用特定對抗樣本仍然可以較輕易地“愚弄”神經(jīng)網(wǎng)絡(luò)策略。這些對抗性干擾在現(xiàn)實世界中也可能發(fā)生作用，比如在路面上特意添加的色塊可能會搞暈遵循車道策略的無人駕駛汽車。因此，未來工作的一個重要方向就是發(fā)展和對抗性攻擊相抵抗的防范措施，這可能包括在訓(xùn)練時增加對抗性干擾的樣本，或者在測試時偵測對抗性輸入。
論文地址：https://arxiv.org/pdf/1702.02284.pdf
參考文獻
[1] V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, and M. Riedmiller. Playing atari with deep reinforcement learning. In NIPS Workshop on Deep Learning, 2013.
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4465.html
摘要：論文可遷移性對抗樣本空間摘要對抗樣本是在正常的輸入樣本中故意添加細微的干擾，旨在測試時誤導(dǎo)機器學(xué)習(xí)模型。這種現(xiàn)象使得研究人員能夠利用對抗樣本攻擊部署的機器學(xué)習(xí)系統(tǒng)。 現(xiàn)在，卷積神經(jīng)網(wǎng)絡(luò)（CNN）識別圖像的能力已經(jīng)到了出神入化的地步，你可能知道在 ImageNet 競賽中，神經(jīng)網(wǎng)絡(luò)對圖像識別的準(zhǔn)確率已經(jīng)超過了人。但同時，另一種奇怪的情況也在發(fā)生。拿一張計算機已經(jīng)識別得比較準(zhǔn)確的圖像，稍作調(diào)整，...
摘要：據(jù)報道，生成對抗網(wǎng)絡(luò)的創(chuàng)造者，前谷歌大腦著名科學(xué)家剛剛正式宣布加盟蘋果。他將在蘋果公司領(lǐng)導(dǎo)一個機器學(xué)習(xí)特殊項目組。在加盟蘋果后會帶來哪些新的技術(shù)突破或許我們很快就會看到了。 據(jù) CNBC 報道，生成對抗網(wǎng)絡(luò)（GAN）的創(chuàng)造者，前谷歌大腦著名科學(xué)家 Ian Goodfellow 剛剛正式宣布加盟蘋果。他將在蘋果公司領(lǐng)導(dǎo)一個「機器學(xué)習(xí)特殊項目組」。雖然蘋果此前已經(jīng)縮小了自動駕駛汽車研究的規(guī)模，但...
摘要：作者在論文中將這種新的譜歸一化方法與其他歸一化技術(shù)，比如權(quán)重歸一化，權(quán)重削減等，和梯度懲罰等，做了比較，并通過實驗表明，在沒有批量歸一化權(quán)重衰減和判別器特征匹配的情況下，譜歸一化改善生成的圖像質(zhì)量，效果比權(quán)重歸一化和梯度懲罰更好。 就在幾小時前，生成對抗網(wǎng)絡(luò)（GAN）的發(fā)明人Ian Goodfellow在Twitter上發(fā)文，激動地推薦了一篇論文：Goodfellow表示，雖然GAN十分擅長...
摘要：是世界上最重要的研究者之一，他在谷歌大腦的競爭對手，由和創(chuàng)立工作過不長的一段時間，今年月重返，建立了一個探索生成模型的新研究團隊。機器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實的醫(yī)療記錄進行訓(xùn)練。今年月在推特上表示是的，我在月底離開，并回到谷歌大腦。 理查德·費曼去世后，他教室的黑板上留下這樣一句話：我不能創(chuàng)造的東西，我就不理解。（What I cannot create, I do not under...
摘要：我仍然用了一些時間才從神經(jīng)科學(xué)轉(zhuǎn)向機器學(xué)習(xí)。當(dāng)我到了該讀博的時候，我很難在的神經(jīng)科學(xué)和的機器學(xué)習(xí)之間做出選擇。 1.你學(xué)習(xí)機器學(xué)習(xí)的歷程是什么？在學(xué)習(xí)機器學(xué)習(xí)時你最喜歡的書是什么？你遇到過什么死胡同嗎？我學(xué)習(xí)機器學(xué)習(xí)的道路是漫長而曲折的。讀高中時，我興趣廣泛，大部分和數(shù)學(xué)或科學(xué)沒有太多關(guān)系。我用語音字母表編造了我自己的語言，我參加了很多創(chuàng)意寫作和文學(xué)課程。高中畢業(yè)后，我進了大學(xué)，盡管我不想去...
閱讀 2820·2021-11-17 09:33
閱讀 3157·2021-10-25 09:44
閱讀 1267·2021-10-11 10:59
閱讀 2481·2021-09-27 13:34
閱讀 2961·2021-09-07 10:19
閱讀 2207·2019-08-29 18:46
閱讀 1594·2019-08-29 12:55
閱讀 982·2019-08-23 17:11
