Nginx 限制百度等爬蟲(chóng)連接

yearsj 發(fā)布于2019-07-25 13:40 / 1060人閱讀

摘要：目的每?jī)擅朐试S個(gè)來(lái)自頭包含等的爬蟲(chóng)類請(qǐng)求測(cè)試官方文檔中文相關(guān)解釋

目的: 每?jī)擅朐试S1個(gè)來(lái)自header頭包含Baiduspider等的爬蟲(chóng)類請(qǐng)求

http {

map $http_user_agent $is_limited_bot {
    "~Baiduspider" 1;
    "~OtherSpider" 2;
    default "";
}
limit_req_zone  $is_limited_bot zone=botzone:10m   rate=30r/m;

server {
    ...

    location / {
        ...

        limit_req zone=botzone burst=5;
    }
}

}

測(cè)試: curl -I http://example.com -A OtherSpider

Nginx官方文檔:http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
中文相關(guān)解釋:http://storysky.blog.51cto.com/628458/642970/

GPU云服務(wù)器云服務(wù)器 nginx爬蟲(chóng) nginx限制ip訪問(wèn) 百度爬蟲(chóng) 限制爬蟲(chóng)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/39277.html

相關(guān)文章

網(wǎng)站信息采集

摘要：網(wǎng)站信息采集在編寫(xiě)爬蟲(chóng)之前可能需要先了解和搜集網(wǎng)站信息協(xié)議也稱為爬蟲(chóng)協(xié)議機(jī)器人協(xié)議等的全稱是網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)，網(wǎng)站通過(guò)協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。網(wǎng)站信息采集在編寫(xiě)爬蟲(chóng)之前可能需要先了解和搜集網(wǎng)站信息 robots.txt Robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱是網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)（Robots Exclusion Protocol），網(wǎng)站通過(guò)...

AZmake 2019-07-30 15:32 評(píng)論0 收藏0
Angular2 網(wǎng)站 SEO 攻略

摘要：使用生成靜態(tài)頁(yè)，再配置在爬蟲(chóng)訪問(wèn)時(shí)提供靜態(tài)頁(yè)中的內(nèi)容。如何在爬蟲(chóng)訪問(wèn)時(shí)讓爬蟲(chóng)獲取到靜態(tài)頁(yè)中的內(nèi)容要演練此部分內(nèi)容，首先你要把網(wǎng)站用部署。 Angular 的優(yōu)點(diǎn)有很多，但如果用它來(lái)開(kāi)發(fā)網(wǎng)站的話，就不得不面對(duì)它的兩大缺點(diǎn)：首頁(yè)加載慢搜索引擎的爬蟲(chóng)獲取不到頁(yè)面內(nèi)容由于 Angular 是通過(guò) js 動(dòng)態(tài)生成 dom 并插入到頁(yè)面中，搜索引擎默認(rèn)只能獲得頁(yè)面的標(biāo)題。我們可以使用 c...

niuxiaowei111 2019-07-25 14:15 評(píng)論0 收藏0
基于python的百度云網(wǎng)盤資源搜索引擎設(shè)計(jì)架構(gòu)

摘要：大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件各類視頻自學(xué)教程電子書(shū)甚至各種電影種子應(yīng)有盡有，但百度云卻沒(méi)有提供相應(yīng)的搜索功能。于是就嘗試開(kāi)發(fā)一個(gè)百度云資源的搜索系統(tǒng)。大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件、各類視頻自學(xué)教程、電子書(shū)、甚至各種電影、BT種子應(yīng)有盡有，但百度云卻沒(méi)有提供相應(yīng)的搜索功能。個(gè)人平時(shí)要找一些軟件、美劇覺(jué)得非常蛋疼。于是就嘗試開(kāi)發(fā)一個(gè)百度云資源的搜索...

williamwen1986 2019-07-25 10:23 評(píng)論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺(jué)真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫(xiě)下來(lái)希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫助先說(shuō)背景微電子科學(xué)與工程專業(yè)學(xué)過(guò)兩門和相關(guān)的課程語(yǔ)言和單片機(jī)這個(gè)專業(yè)的唯一好處就是大部分人并不知道這個(gè)專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺(jué)真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫(xiě)下來(lái),希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫...

zhangwang 2019-08-22 11:07 評(píng)論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺(jué)真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫(xiě)下來(lái)希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫助先說(shuō)背景微電子科學(xué)與工程專業(yè)學(xué)過(guò)兩門和相關(guān)的課程語(yǔ)言和單片機(jī)這個(gè)專業(yè)的唯一好處就是大部分人并不知道這個(gè)專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺(jué)真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫(xiě)下來(lái),希望能給和我一樣在求職路上煎熬的人一點(diǎn)幫...

fjcgreat 2019-08-01 17:38 評(píng)論0 收藏0