亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Nginx流量攔截算法

fuchenxuan / 3304人閱讀

摘要：自身有的請(qǐng)求限制模塊流量限制模塊基于令牌桶算法，可以方便的控制令牌速率，自定義調(diào)節(jié)限流，就能很好的限制請(qǐng)求數(shù)量，然而，問題還是在于無法熱加載。漏桶算法可以很好地限制容量池的大小，從而防止流量暴增。這也是對(duì)流量攔截的算法，針對(duì)做流量監(jiān)測。

0x00.About

電商平臺(tái)營銷時(shí)候，經(jīng)常會(huì)碰到的大流量問題，除了做流量分流處理，可能還要做用戶黑白名單、信譽(yù)分析，進(jìn)而根據(jù)用戶ip信譽(yù)權(quán)重做相應(yīng)的流量攔截、限制流量。

Nginx自身有的請(qǐng)求限制模塊ngx_http_limit_req_module、流量限制模塊ngx_stream_limit_conn_module基于令牌桶算法，可以方便的控制令牌速率，自定義調(diào)節(jié)限流，就能很好的限制請(qǐng)求數(shù)量，然而，nginx.conf問題還是在于無法熱加載。

之前做過的流量限制方案，《Nginx+Lua+Redis訪問頻率控制》，原理是動(dòng)態(tài)的基于ip，實(shí)現(xiàn)簡單的漏桶算法，限制訪問頻率。

這里的話，就簡單分析下流量限制算法：漏桶算法、令牌桶算法、滑動(dòng)窗口等在Nginx+Lua中如何動(dòng)態(tài)綁定uri，動(dòng)態(tài)設(shè)定rate實(shí)現(xiàn)。

0x01.Leaky Bucket Algorithm

漏桶算法可以很好地限制容量池的大小，從而防止流量暴增。如果針對(duì)uri+ip作為監(jiān)測的key，就可以實(shí)現(xiàn)定向的設(shè)定指定ip對(duì)指定uri容量大小，超出的請(qǐng)求做隊(duì)列處理（隊(duì)列處理要引入消息機(jī)制）或者丟棄處理。這也是v2ex對(duì)流量攔截的算法，針對(duì)uri+ip做流量監(jiān)測。

漏桶算法實(shí)現(xiàn)上來說，就是建立一個(gè)隊(duì)列，在Redis中以u(píng)ri:ip作為key，隊(duì)列上實(shí)現(xiàn)FIFO，在請(qǐng)求的前奏實(shí)現(xiàn)插入，請(qǐng)求完成后實(shí)現(xiàn)刪除。

實(shí)現(xiàn)方法是在Nginx發(fā)送http數(shù)據(jù)給用戶后，通過ngx.eof()關(guān)閉TCP協(xié)議，做其他操作，可以參見請(qǐng)求返回后繼續(xù)執(zhí)行。

下面是部分代碼：

local _M = { _VERSION = "2015.10.19", OK = 1, BUSY = 2, FORBIDDEN = 3 }

function _M.do_list(red, uri, key, size, rate)
    local ok, err = red:expire(uri .. ":" .. key, size)
    if not ok then
        ngx.log(ngx.WARN, "redis set expire error: ", err)
        return nil
    end
    local ok, err = red:rpush(uri .. ":" .. key, ngx.time())
    if not ok then
        ngx.log(ngx.WARN, "redis rpush error: ", err)
        return nil
    end
    local res, err = red:lrange(uri .. ":" .. key, -(size * rate), -1)
    if not ok then
        ngx.log(ngx.WARN, "redis lrange error: ", err)
        return nil
    end
    if #res < (size * rate) or res[#res] - res[1] < size then
        return _M.OK
    end
    return nil
end

漏桶算法優(yōu)點(diǎn)很明顯，簡單、高效，能恰當(dāng)攔截容量外的暴力流量。

但缺點(diǎn)也明顯，無法對(duì)流量做頻率處理，比如桶size大小設(shè)置范圍內(nèi)，進(jìn)行并發(fā)攻擊依然能大流量并發(fā)效果，桶容量不可以過小，否則容易卡死正常用戶。

0x02.Token Bucket Algorithm

令牌桶算法通過發(fā)放令牌，根據(jù)令牌的rate頻率做請(qǐng)求頻率限制，容量限制等。

系統(tǒng)根據(jù)rate(r/s)頻率參數(shù)向指定桶中添加token，滿則保持，不添加

當(dāng)用戶請(qǐng)求Nginx時(shí)候，分析uri是否需要限制流量，限制則執(zhí)行令牌桶算法

如果桶滿了，則請(qǐng)求通過，消耗令牌一枚；如果請(qǐng)求Redis發(fā)現(xiàn)key不存在，則通過size裝滿令牌桶；如果桶內(nèi)令牌空，則廢棄或等待流量。

Nginx + Lua 模型中實(shí)現(xiàn)必然不能跑一個(gè)程序添加令牌了，這個(gè)時(shí)候需要在分析令牌時(shí)候，通過計(jì)算時(shí)間間隔一次性添加完令牌桶內(nèi)令牌。具體算法是：rate * time_distance = token_count令牌數(shù)量， if token_count > size 桶容量， token_count = size。

實(shí)現(xiàn)的存儲(chǔ)結(jié)構(gòu)是用Hash哈希存儲(chǔ) uri:ip -> token_count，字段通過EXPIRE設(shè)定過期時(shí)間，達(dá)到長時(shí)間不訪問清除桶數(shù)據(jù)效果。

桶的大小、請(qǐng)求的頻率限制用Redis哈希表存儲(chǔ)，不存在則默認(rèn)不做流量攔截。

用戶黑白名單通過Order SET設(shè)定信譽(yù)權(quán)重，權(quán)重越大，代表危險(xiǎn)性越大，進(jìn)而通過百分比改變接口限定rate頻率。

令牌桶算法優(yōu)勢(shì)在于能針對(duì)uri做定向rate、size等，不僅限制總請(qǐng)求大小，還限制平均頻率大小。缺點(diǎn)是，還是容易導(dǎo)致誤判等問題，并切用戶的信譽(yù)無法完全準(zhǔn)確。

參考：

1.Token Bucket Algorithm

2.Token Bucket Algorithm

3.電商課題I：集群環(huán)境下業(yè)務(wù)限流

本文出自 夏日小草,轉(zhuǎn)載請(qǐng)注明出處:http://homeway.me/2015/10/21/nginx-lua-traffic-limit-algorithm

-by小草

2015-10-21 21:49:10

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/39195.html

相關(guān)文章

  • 秒殺流量控制的執(zhí)行方案

    nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對(duì)于一些服務(wù)器流量異常、負(fù)載過大，甚至是大流量的惡意攻擊訪問等，進(jìn)行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個(gè)鍵值的連接數(shù)，只有那些正在被處理的請(qǐng)求（這些請(qǐng)求的頭信息已被完全讀入）所在的連接才會(huì)被計(jì)數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...

    hzc 評(píng)論0 收藏0

  • 秒殺流量控制的執(zhí)行方案

    nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對(duì)于一些服務(wù)器流量異常、負(fù)載過大，甚至是大流量的惡意攻擊訪問等，進(jìn)行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個(gè)鍵值的連接數(shù)，只有那些正在被處理的請(qǐng)求（這些請(qǐng)求的頭信息已被完全讀入）所在的連接才會(huì)被計(jì)數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...

    fancyLuo 評(píng)論0 收藏0

  • 秒殺流量控制的執(zhí)行方案

    nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對(duì)于一些服務(wù)器流量異常、負(fù)載過大，甚至是大流量的惡意攻擊訪問等，進(jìn)行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個(gè)鍵值的連接數(shù)，只有那些正在被處理的請(qǐng)求（這些請(qǐng)求的頭信息已被完全讀入）所在的連接才會(huì)被計(jì)數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...

    golden_hamster 評(píng)論0 收藏0

  • 馬蜂窩ABTest多層分流系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    摘要：為了解決以上問題，我們的分流系統(tǒng)選擇基于實(shí)現(xiàn)，通過或者協(xié)議來傳遞分流信息。正交是指用戶進(jìn)入所有的實(shí)驗(yàn)之間沒有必然關(guān)系。流量層內(nèi)實(shí)驗(yàn)分流流量層內(nèi)實(shí)驗(yàn)的因子有設(shè)備流量層。統(tǒng)計(jì)功效對(duì)于置信區(qū)間特征值等產(chǎn)品化功能支持。 什么是 ABTest 產(chǎn)品的改變不是由我們隨便「拍腦袋」得出，而是需要由實(shí)際的數(shù)據(jù)驅(qū)動(dòng)，讓用戶的反饋來指導(dǎo)我們?nèi)绾胃玫馗纳品?wù)。正如馬蜂窩 CEO 陳罡在接受專訪時(shí)所說：「有...

    mingzhong 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<