亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專(zhuān)欄INFORMATION COLUMN

CDN源站屏蔽搜索引擎爬蟲(chóng)

pinecone / 1240人閱讀

摘要：大概有三種方法可以限制蜘蛛的抓取文件文件用于限制搜索引擎蜘蛛的行為，在源站屏蔽蜘蛛主要是為了限制蜘蛛對(duì)同程序下不同域名的抓取。識(shí)別蜘蛛的，在網(wǎng)站程序上做限制獲取訪客的，如果是搜索引擎蜘蛛的，則跳轉(zhuǎn)至主站。

原文轉(zhuǎn)自本人博客 - Ku_Andrew"s Blog
CDN源站屏蔽搜索引擎爬蟲(chóng)

0x00 前言

自從去年全站使用阿里云CDN之后，網(wǎng)站訪問(wèn)速度得到了很明顯的提升，同時(shí)阿里云CDN的穩(wěn)定性也很棒。但最近這段時(shí)間發(fā)現(xiàn)，百度和谷歌的爬蟲(chóng)開(kāi)始爬我的源站了。這就有點(diǎn)麻煩了，要是不趕緊解決，給主站降權(quán)就不好了。

0x01 思路

因?yàn)橹┲肱懒瞬辉撆赖臇|西，解決思路自然是限制蜘蛛的爬取。
大概有三種方法可以限制蜘蛛的抓取：

1.robots.txt文件

robots文件用于限制搜索引擎蜘蛛的行為，在源站屏蔽蜘蛛主要是為了限制蜘蛛對(duì)同程序下不同域名的抓取。但是robots.txt文件沒(méi)有可以限制域名相關(guān)的參數(shù)，只能限制蜘蛛對(duì)當(dāng)前域名下文件的抓取，此路不通。

2.設(shè)置META標(biāo)簽

當(dāng)訪客訪問(wèn)的域名不是主站域名時(shí)，在網(wǎng)頁(yè)的標(biāo)簽中植入限制蜘蛛活動(dòng)的內(nèi)容，實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，只用修改一下模板中的header文件即可。

3.識(shí)別蜘蛛的UA，在網(wǎng)站程序上做限制

獲取訪客的User-Agent，如果是搜索引擎蜘蛛的UA，則跳轉(zhuǎn)至主站。也有一個(gè)問(wèn)題，就是要去網(wǎng)上收集各家搜索引擎蜘蛛的UA，想著就累。
人懶，就選擇設(shè)置META標(biāo)簽的方法。

0x02 實(shí)踐

第一步，在程序中獲取訪客訪問(wèn)的域名。這一歩就不做多介紹了，不同語(yǔ)言和環(huán)境有不同的方法獲取，PHP可以通過(guò)如下語(yǔ)句獲取訪問(wèn)者當(dāng)前訪問(wèn)的域名：
$_SERVER["SERVER_NAME"];
第二步，如果不為主站域名，則輸出HEAD中的META標(biāo)簽限制蜘蛛的活動(dòng)：

if ($_SERVER["SERVER_NAME"] != "www.kungg.com" {
    echo "";
}
0x03 大功告成

額，插不了圖片。。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/10951.html

相關(guān)文章

  • 網(wǎng)站從小到大發(fā)展過(guò)程

    摘要：講述網(wǎng)站的訪問(wèn)量從到，從到，從到，從到的過(guò)程。這時(shí)候的網(wǎng)站依然局限于單機(jī)發(fā)布，或者使用虛擬主機(jī)網(wǎng)站空間發(fā)布。這時(shí)候往往很難由一個(gè)人完成一個(gè)網(wǎng)站的開(kāi)發(fā)工作。網(wǎng)站，很多it行業(yè)的人都了解。 網(wǎng)站的成長(zhǎng)過(guò)程，卻是很多it行業(yè)人士并不理解的過(guò)程，往往還有人調(diào)侃：做個(gè)淘寶網(wǎng)多少錢(qián)？本文將逐步講述網(wǎng)站的成長(zhǎng)過(guò)程。講述網(wǎng)站的訪問(wèn)量從0到1，從1到100，從100到1000，從1000到1000000+的過(guò)...

    rubyshen 評(píng)論0 收藏0

  • 網(wǎng)站從小到大發(fā)展過(guò)程

    摘要：講述網(wǎng)站的訪問(wèn)量從到，從到，從到，從到的過(guò)程。緩存設(shè)計(jì)，負(fù)載均衡發(fā)布，數(shù)據(jù)庫(kù)高性能優(yōu)化，數(shù)據(jù)庫(kù)讀寫(xiě)分離，高性能中間件，分布式設(shè)計(jì)，加速，安全防御，云架構(gòu)發(fā)布等等五花八門(mén)的技術(shù)綜合使用。 網(wǎng)站，很多it行業(yè)的人都了解。 網(wǎng)站的成長(zhǎng)過(guò)程，卻是很多it行業(yè)人士并不理解的過(guò)程，往往還有人調(diào)侃：做個(gè)淘寶網(wǎng)多少錢(qián)？本文將逐步講述網(wǎng)站的成長(zhǎng)過(guò)程。講述網(wǎng)站的訪問(wèn)量從0到1，從1到100，從100到10...

    lykops 評(píng)論0 收藏0

  • 【云分發(fā) UCDN】產(chǎn)品答疑：頁(yè)面加速、下載加速、點(diǎn)播加速有什么區(qū)別，該如何選擇？

    摘要：頁(yè)面加速下載加速點(diǎn)播加速有什么區(qū)別，該如何選擇區(qū)別面向的加速內(nèi)容不同，頁(yè)面加速主要針對(duì)網(wǎng)頁(yè)文件圖片文件等小文件下載加速主要針對(duì)安裝包，壓縮包等大文件點(diǎn)播加速主要針對(duì)等視頻文件。下載加速和點(diǎn)播加速默認(rèn)情況下，所有文件緩存天。FAQQ：接入CDN加速的域名有什么要求？A：在接入 CDN 加速時(shí)，加速國(guó)內(nèi)區(qū)域，需要在工信部完成備案，且源站的業(yè)務(wù)內(nèi)容必須合法，否則將無(wú)法接入您的域名。加速海外區(qū)域源站...

    Tecode 評(píng)論0 收藏0

  • 【全球動(dòng)態(tài)加速 PathX】FAQ：詳細(xì)

    摘要：長(zhǎng)期維護(hù)該內(nèi)核通用源碼包，目前已經(jīng)支持和等絕大多數(shù)的發(fā)行版。選擇的加速區(qū)域在中國(guó)大陸地區(qū)之外，無(wú)論客戶端在哪訪問(wèn)都不需要備案。網(wǎng)站或場(chǎng)景是否可以使用可以使用，全球動(dòng)態(tài)加速支持透?jìng)骰卦础AQ加速配置和加速線路的關(guān)系1、帶寬共享功能：一個(gè)加速線路可以被多個(gè)加速配置綁定，這些加速配置共享加速線路的帶寬； 2、一個(gè)加速配置可以綁定多個(gè)加速線路。 3、刪除加速配置不會(huì)影響加速線路，加速線路仍存在...

    Tecode 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<