什么是激活函數(shù)？有哪些類型？有什么作用？哪個更好用？

Amos 發(fā)布于2019-04-25 18:14 / 2680人閱讀

摘要：什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡模型中是如何使用的激活函數(shù)對于人工神經(jīng)網(wǎng)絡模型去學習理解非常復雜和非線性的函數(shù)來說具有十分重要的作用。線性函數(shù)一個一級多項式。

什么是人工神經(jīng)網(wǎng)絡？

現(xiàn)在，我相信我們大家都很熟悉什么是A-NN了，但接下來請允許我按照自己的理解給A-NN下個定義——它是一個強健有力的，同時也非常復雜的機器學習技術，它可以模仿人類的大腦，繼而模仿大腦的運作。

正如我們的人腦一樣，在一個層次上和神經(jīng)元網(wǎng)絡中有數(shù)百萬個神經(jīng)元，這些神經(jīng)元通過一種稱之為synapses（突觸）的結構彼此緊緊相連。它可以通過 Axons（軸突），將電信號從一個層傳遞到另一個層。這就是我們?nèi)祟悓W習事物的方式。每當我們看到、聽到、感覺和思考時，一個突觸（電脈沖）從層次結構中的一個神經(jīng)元被發(fā)射到另一個神經(jīng)元，這使我們能夠從我們出生的那一天起，就開始學習、記住和回憶我們?nèi)粘Ｉ钪械臇|西。

好的，接下來我保證大家看到的不再是生物學領域的知識了。

什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡模型中是如何使用的？

激活函數(shù)（Activation functions）對于人工神經(jīng)網(wǎng)絡模型去學習、理解非常復雜和非線性的函數(shù)來說具有十分重要的作用。它們將非線性特性引入到我們的網(wǎng)絡中。其主要目的是將A-NN模型中一個節(jié)點的輸入信號轉換成一個輸出信號。該輸出信號現(xiàn)在被用作堆疊中下一個層的輸入。

而在A-NN中的具體操作是這樣的，我們做輸入（X）和它們對應的權重（W）的乘積之和，并將激活函數(shù)f（x）應用于其獲取該層的輸出并將其作為輸入饋送到下一個層。

問題是，為什么我們不能在不激活輸入信號的情況下完成此操作呢？

如果我們不運用激活函數(shù)的話，則輸出信號將僅僅是一個簡單的線性函數(shù)。線性函數(shù)一個一級多項式。現(xiàn)如今，線性方程是很容易解決的，但是它們的復雜性有限，并且從數(shù)據(jù)中學習復雜函數(shù)映射的能力更小。一個沒有激活函數(shù)的神經(jīng)網(wǎng)絡將只不過是一個線性回歸模型（Linear regression Model）罷了，它功率有限，并且大多數(shù)情況下執(zhí)行得并不好。我們希望我們的神經(jīng)網(wǎng)絡不僅僅可以學習和計算線性函數(shù)，而且還要比這復雜得多。同樣是因為沒有激活函數(shù)，我們的神經(jīng)網(wǎng)絡將無法學習和模擬其他復雜類型的數(shù)據(jù)，例如圖像、視頻、音頻、語音等。這就是為什么我們要使用人工神經(jīng)網(wǎng)絡技術，諸如深度學習（Deep learning），來理解一些復雜的事情，一些相互之間具有很多隱藏層的非線性問題，而這也可以幫助我們了解復雜的數(shù)據(jù)。

那么為什么我們需要非線性函數(shù)？

非線性函數(shù)是那些一級以上的函數(shù)，而且當繪制非線性函數(shù)時它們具有曲率。現(xiàn)在我們需要一個可以學習和表示幾乎任何東西的神經(jīng)網(wǎng)絡模型，以及可以將輸入映射到輸出的任意復雜函數(shù)。神經(jīng)網(wǎng)絡被認為是通用函數(shù)近似器（Universal Function Approximators）。這意味著他們可以計算和學習任何函數(shù)。幾乎我們可以想到的任何過程都可以表示為神經(jīng)網(wǎng)絡中的函數(shù)計算。

而這一切都歸結于這一點，我們需要應用激活函數(shù)f（x），以便使網(wǎng)絡更加強大，增加它的能力，使它可以學習復雜的事物，復雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復雜的任意函數(shù)映射。因此，使用非線性激活函數(shù)，我們便能夠從輸入輸出之間生成非線性映射。

激活函數(shù)的另一個重要特征是：它應該是可以區(qū)分的。我們需要這樣做，以便在網(wǎng)絡中向后推進以計算相對于權重的誤差（丟失）梯度時執(zhí)行反向優(yōu)化策略，然后相應地使用梯度下降或任何其他優(yōu)化技術優(yōu)化權重以減少誤差。

只要永遠記住要做：

“輸入時間權重，添加偏差和激活函數(shù)”

最流行的激活函數(shù)類型

1.Sigmoid函數(shù)或者Logistic函數(shù)

2.Tanh?—?Hyperbolic tangent（雙曲正切函數(shù)）

3.ReLu -Rectified linear units（線性修正單元）

Sigmoid激活函數(shù)：它是一個f（x）= 1/1 + exp（-x）形式的激活函數(shù)。它的值區(qū)間在0和1之間，是一個S形曲線。它很容易理解和應用，但使其不受歡迎的主要原因是：

·梯度消失問題

·其次，它的輸出不是以0為中心。它的梯度更新在不同的方向上且走得太遠。 0

·Sigmoids函數(shù)飽和且kill掉梯度。

·Sigmoids函數(shù)收斂緩慢。

現(xiàn)在我們該如何解決上述問題？

雙曲正切函數(shù)——Tanh：其數(shù)學公式是f（x）= 1 - exp（-2x）/ 1 + exp（-2x）?，F(xiàn)在它的輸出是以0中心的，因為它的值區(qū)間在-1到1之間，即-1

那么我們該如何處理和糾正梯度消失問題呢？

ReLu -Rectified linear units（線性修正單元）：其實在過去幾年中它就已經(jīng)非常受歡迎了。最近證明，相較于Tanh函數(shù)，它的收斂性提高了6倍。只要R（x）= max（0，x），即如果x <0，R（x）= 0，如果x> = 0，則R（x）= x。因此，只看這個函數(shù)的數(shù)學形式，我們就可以看到它非常簡單、有效。其實很多時候我們都會注意到，在機器學習和計算機科學領域，最簡單、相容的技術和方法才是推薦，才是表現(xiàn)較好的。因此，它可以避免和糾正梯度消失問題?，F(xiàn)如今，幾乎所有深度學習模型現(xiàn)在都使用ReLu函數(shù)。

但它的局限性在于它只能在神經(jīng)網(wǎng)絡模型的隱藏層中使用。

因此，對于輸出層，我們應該使用Softmax函數(shù)來處理分類問題從而計算類的概率。而對于回歸問題，它只要簡單地使用線性函數(shù)就可以了。

ReLu函數(shù)的另一個問題是，一些梯度在訓練過程中可能很脆弱，甚至可能會死亡。它可以導致權重更新，這將使其永遠不會在任何數(shù)據(jù)點上激活。簡單地說ReLu可能會導致死亡神經(jīng)元。

為了解決這個問題，我們引進了另一個被稱為Leaky ReLu的修改函數(shù)，讓它來解決死亡神經(jīng)元的問題。它引入了一個小斜坡從而保持更新值具有活力。

然后，我們還有另一個變體，它形成于ReLu函數(shù)和Leaky ReLu函數(shù)的結合，我們稱之為Maxout函數(shù)。

結論

問題是哪一個更好用呢？

這個問題的答案就是，現(xiàn)在我們應該使用只應用于隱藏層的ReLu函數(shù)。當然，如果我們的模型在訓練過程中遇到死亡神經(jīng)元，我們就應該使用leaky ReLu函數(shù)或Maxout函數(shù)。

而考慮到現(xiàn)實的情況，Sigmoid函數(shù)和Tanh函數(shù)是不適用的，因為梯度消失問題（vanishing Gradient Problem）是一個很嚴重的問題，會在訓練一個神經(jīng)網(wǎng)絡模型中導致更多問題。

歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754

GPU云服務器云服務器用云服務器搭建有什么作用云主機是什么,有什么用什么是云服務器有哪些什么是云服務器有什么用

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/4552.html

提高深度學習性能的四種方式

摘要：可以參見以下相關閱讀創(chuàng)造更多數(shù)據(jù)上一小節(jié)說到了有了更多數(shù)據(jù)，深度學習算法通常會變的更好。導語我經(jīng)常被問到諸如如何從深度學習模型中得到更好的效果的問題，類似的問題還有：我如何提升準確度如果我的神經(jīng)網(wǎng)絡模型性能不佳，我能夠做什么？對于這些問題，我經(jīng)常這樣回答，我并不知道確切的答案，但是我有很多思路，接著我會列出了我所能想到的所有或許能夠給性能帶來提升的思路。為避免一次次羅列出這樣一個簡單的列表...

JessYanCoding 2019-04-25 18:06 評論0 收藏0
React 328道最全面試題(持續(xù)更新)

摘要：希望大家在這浮夸的前端圈里，保持冷靜，堅持每天花分鐘來學習與思考。今天的React題沒有太多的故事…… 半個月前出了248個Vue的知識點，受到很多朋友的關注，都強烈要求再出多些React相前的面試題，受到大家的邀請，我又找了20多個React的使用者，他們給出了328道React的面試題，由我整理好發(fā)給大家，同時發(fā)布在了前端面試每日3+1的React專題，希望對大家有所幫助，同時大...

kumfo 2019-08-26 10:13 評論0 收藏0
前端面試每日3+1（周匯總2019.08.11）

摘要：前端面試每日題，以面試題來驅動學習，每天進步一點讓努力成為一種習慣，讓奮斗成為一種享受相信堅持的力量項目地址推薦歡迎跟一起折騰前端，系統(tǒng)整理前端知識，目前正在折騰，打算打通算法與數(shù)據(jù)結構的任督二脈。《論語》，曾子曰：吾日三省吾身（我每天多次反省自己）。前端面試每日3+1題，以面試題來驅動學習，每天進步一點！讓努力成為一種習慣，讓奮斗成為一種享受！相信堅持的力量?。?！項目...

Baoyuan 2019-08-30 15:44 評論0 收藏0
前端面試每日3+1（周匯總2019.08.11）

摘要：前端面試每日題，以面試題來驅動學習，每天進步一點讓努力成為一種習慣，讓奮斗成為一種享受相信堅持的力量項目地址推薦歡迎跟一起折騰前端，系統(tǒng)整理前端知識，目前正在折騰，打算打通算法與數(shù)據(jù)結構的任督二脈。《論語》，曾子曰：吾日三省吾身（我每天多次反省自己）。前端面試每日3+1題，以面試題來驅動學習，每天進步一點！讓努力成為一種習慣，讓奮斗成為一種享受！相信堅持的力量！??！項目...

馬永翠 2019-08-26 10:42 評論0 收藏0
CSS考點之一，<a>標簽，偽類

摘要：注意，鼠標點擊后不松開，此偽類一直激活，直到松開鼠標。哪些偽類會同時激活并影響顯示效果第一，其實和兩個偽類之間順序無所謂。此時鏈接依然存在，只是已經(jīng)被訪問過，所以偽類不再激活。博主的博客地址：Stillwater的個人博客轉載請注明原文鏈接一、標簽常用的偽類概述 a:link{color:blue} ...

LeanCloud 2019-08-30 13:21 評論0 收藏0