亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專(zhuān)欄INFORMATION COLUMN

每日 30 秒 ? 漫游器法則

Render / 2967人閱讀

簡(jiǎn)介 
SEO、robot.txt、搜索引擎優(yōu)化

在浩海的互聯(lián)網(wǎng)世界中：

互聯(lián)網(wǎng) 宛如 宇宙

站點(diǎn) 宛如 星系

網(wǎng)頁(yè) 宛如 星球

網(wǎng)頁(yè)內(nèi)容 宛如 生靈萬(wàn)物

而在互聯(lián)網(wǎng)世界漫游的搜索引擎爬蟲(chóng)小蜘蛛，就好比一搜穿梭在宇宙里的星際漫游器，想想是不是還挺浪漫的。對(duì)于不同的星系有著自己的規(guī)則，如果不準(zhǔn)守規(guī)則，小心自動(dòng)防御功能把 漫游器 打壞哦~

小二幻想過(guò)這個(gè)世界如果是由代碼組成的，還是挺有意思的，很多靈異事件都可以解釋為 bug，有次和同學(xué)腦洞大開(kāi)聊了一晚上，有機(jī)會(huì)可以找個(gè)時(shí)間來(lái)構(gòu)筑一個(gè)代碼 世界觀。
漫游器法則

每個(gè)星系的入口處即網(wǎng)站根目錄都會(huì)設(shè)置一個(gè) robot.txt 又叫做漫游器法則，記錄漫游器應(yīng)該準(zhǔn)守的規(guī)則。漫游器法則 更多的是一個(gè)協(xié)定，并不是寫(xiě)了所有的爬蟲(chóng)都會(huì)準(zhǔn)守這個(gè)規(guī)則。

很多公司或者個(gè)人在沒(méi)有內(nèi)容輸出時(shí)，往往會(huì)通過(guò) 爬蟲(chóng) 去爬取別人站點(diǎn)的數(shù)據(jù)，如果準(zhǔn)守規(guī)則也可以叫其 漫游器，但是不準(zhǔn)守規(guī)則肆無(wú)忌憚爬取的稱(chēng)之為 海盜船。被爬取的站點(diǎn)，對(duì)于這些 海盜船 會(huì)做出一定的判斷，或者訪問(wèn)評(píng)率限制來(lái)保護(hù)自己。

名單法則

在 robot.txt 中通過(guò) User-agent 來(lái)規(guī)定那些 漫游器 應(yīng)該準(zhǔn)守哪些規(guī)則，使用 * 星號(hào)表示允許所有 漫游器 都應(yīng)該準(zhǔn)守例如User-agent: *。也可以對(duì)特定的漫游器做出限制，例如對(duì) 百度漫游器 做出限制 User-agent: Baiduspider。在名單法則之下是與之對(duì)應(yīng)的 允許法則 和 拒接法則：

允許法則通過(guò) Allow: 配合路徑法則來(lái)告訴 漫游器 哪些鏈接是應(yīng)該爬取訪問(wèn)的。

拒接法則通過(guò) Disallow: 配合路徑法則來(lái)告訴 漫游器 哪些鏈接是不應(yīng)該爬取訪問(wèn)的。

路徑法則

對(duì) pathname 組成 query 的路徑，配合上 * 和 $ 符號(hào)可以拼湊出一條網(wǎng)站路徑規(guī)則。下面給出幾個(gè)例子：

用戶(hù)列表 https://pushme.top/users 用路徑表達(dá) /users

文章評(píng)論 https://pushme.top/posts/1/comments 用路徑表達(dá) /posts/*/comments

樣式文件 https://pushme.top/assets/styles/main.css 用路徑表達(dá) /assets/styles/*.css$ 

更多 URL 詳細(xì)內(nèi)容可以查看 URL 大爆炸
星系推薦法則

在 投懷送抱 中介紹了 sitemap 網(wǎng)頁(yè)地圖，用于告訴漫游器哪些網(wǎng)站哪些頁(yè)面值得訪問(wèn)。通過(guò) Sitemap: 來(lái)指定 Sitemap: https://pushme.top/sitemap.xml。

單雙號(hào)法則

網(wǎng)站和現(xiàn)實(shí)生活一樣也有分 單雙號(hào)，漫游器 和 海盜船 爬取頁(yè)面也會(huì)占用到服務(wù)器的資源。如果占用太多資源會(huì)導(dǎo)致 正常用戶(hù) 無(wú)法訪問(wèn)網(wǎng)站，所以利用 單雙號(hào)法則 來(lái)限制 漫游器 的訪問(wèn)頻率：

Crawl-delay: n 每次抓取間隔n秒。

Request-rate: x/n 抓取x個(gè)頁(yè)面在n秒之內(nèi)。

掘金漫游器法則

在講完了整體的漫游器法則構(gòu)成，讓我們一起閱讀一下 掘金漫游器法則。訪問(wèn) https://juejin.im/robots.txt 就可以看到如下內(nèi)容：

User-agent: *
Request-rate: 1/1
Crawl-delay: 5

Disallow: /timeline
Disallow: /submit-entry
Disallow: /new-entry
Disallow: /edit-entry
Disallow: /notification
Disallow: /subscribe/subscribed
Disallow: /user/settings
Disallow: /reset-password
Disallow: /drafts
Disallow: /editor
Disallow: /user/invitation
Disallow: /user/wallet
Disallow: /entry/*/view$
Disallow: /auth
Disallow: /oauth
Disallow: /zhuanlan/*?sort=newest
Disallow: /zhuanlan/*?sort=comment
Disallow: /search
Disallow: /equation

可以看到掘金漫游器法則還是相對(duì)寬松的，限制了訪問(wèn)評(píng)率和不應(yīng)該訪問(wèn)網(wǎng)頁(yè)，沒(méi)有對(duì)具體的 百度漫游器 和 谷歌漫游器 等作出限制，所以同學(xué)也可以寫(xiě) 漫游器 來(lái)爬取掘金的部分內(nèi)容。比如今天的沸點(diǎn)中就看到了：

SEO 相關(guān)內(nèi)容

H1 の 小秘密

SEO 初體驗(yàn)

img の 小九九

千里姻緣一線(xiàn)牽

投懷送抱

漫游器法則

其他

關(guān)于 robot.txt 生成的工具這里推薦 robots文件生成 簡(jiǎn)單易用。

小二在這里只討論了一些力所能及 且 容易做到 的 SEO 內(nèi)容，關(guān)于 SEO 相關(guān)的內(nèi)容就討論到這里了。雖然 語(yǔ)義化標(biāo)簽 這部分內(nèi)容也對(duì) SEO 有所幫助，但是實(shí)踐起來(lái)挺難做到的，如果小二有想簡(jiǎn)單且容易理解的方法到時(shí)候再補(bǔ)上這篇。

一起成長(zhǎng) 
在困惑的城市里總少不了并肩同行的 伙伴 讓我們一起成長(zhǎng)。

如果您想讓更多人看到文章可以點(diǎn)個(gè) 點(diǎn)贊。

如果您想激勵(lì)小二可以到 Github 給個(gè) 小星星。

如果您想與小二更多交流添加微信 m353839115。

本文原稿來(lái)自 PushMeTop

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/103413.html

相關(guān)文章

  • 每日 30 秒 ? 終極等于

    簡(jiǎn)介 字符串、數(shù)字、數(shù)組、對(duì)象、時(shí)間、類(lèi)型、等于 科學(xué)家發(fā)現(xiàn)，人腦中會(huì)分泌多種能讓人感到快樂(lè)、安全和成就感的物質(zhì)，這些物質(zhì)統(tǒng)稱(chēng)為快樂(lè)素。通常情況下，快樂(lè)素的釋放水平很低，維持我們心情平靜。只有當(dāng)我們完成了預(yù)設(shè)目標(biāo)，作為獎(jiǎng)勵(lì)，大腦才會(huì)增加快樂(lè)素的分泌，讓人感受到滿(mǎn)足和成功的喜悅。 這是之前看到的一篇關(guān)于 大腦獎(jiǎng)勵(lì)機(jī)制 文章的一段話(huà)，為了要獲得獎(jiǎng)勵(lì)我們需要有預(yù)設(shè)目標(biāo)，而是每日 30 秒系列也是為了幫助...

    lakeside 評(píng)論0 收藏0

  • 每日 30 秒 ? 扼住焦點(diǎn)的喉嚨

    簡(jiǎn)介 無(wú)障礙、HTML 小細(xì)節(jié)、焦點(diǎn)、a11y、Accessibility、框架選擇 無(wú)障礙開(kāi)發(fā)還是應(yīng)該從 HTML 開(kāi)始聊起，無(wú)論是盲人閱讀器還是瀏覽器等工具最核心的部分還是在 HTML，畢竟沒(méi)了 CSS 只是不美觀了，沒(méi)了 JavaScript 只是少了交互和無(wú)限擴(kuò)展的可能性。 有的同學(xué)會(huì)說(shuō)了產(chǎn)品和老板拿著鞭子在后頭趕馬車(chē)哪里有時(shí)間寫(xiě)這些?，F(xiàn)實(shí)是這樣的，但是在選擇UI框架的時(shí)候可以選擇 無(wú)障礙...

    antyiwei 評(píng)論0 收藏0

  • 3D全景漫游

    摘要：可選，默認(rèn)值為，設(shè)置為則禁止用戶(hù)和全景圖交互導(dǎo)航條不可用。可選，默認(rèn)值為，全景圖在毫秒后會(huì)自動(dòng)進(jìn)行動(dòng)畫(huà)。當(dāng)全景圖準(zhǔn)備就緒并且第一張圖片顯示時(shí)的回調(diào)函數(shù)。 3D全景漫游 showImg(http://mmbiz.qpic.cn/mmbiz/cibketMByvrbpDqUQ9LiaBvutnwMehicnO2RZurdl96FLtwqlf6LjWS0Bv8ApQY0YjHdtyFWuzz...

    DesGemini 評(píng)論0 收藏0

  • 每日 30 秒 ? 巧用可視區(qū)域

    簡(jiǎn)介 可視區(qū)域、頁(yè)面優(yōu)化、DOM節(jié)點(diǎn)多、圖片懶加載、性能 可視區(qū)域是一個(gè)前端優(yōu)化經(jīng)常出現(xiàn)的名詞，不管是顯示器、手機(jī)、平板它們的可視區(qū)域范圍都是有限。在這個(gè) 有限可視區(qū)域 區(qū)域里做到完美顯示和響應(yīng)，而在這個(gè)區(qū)域外少做一些操作來(lái)減少渲染的壓力、網(wǎng)絡(luò)請(qǐng)求壓力。在 每日 30 秒之 對(duì)海量數(shù)據(jù)進(jìn)行切割 中的使用場(chǎng)景，我們就是利用了 有限可視區(qū)域 只渲染一部分 DOM 節(jié)點(diǎn)來(lái)減少頁(yè)面卡頓。 既然 可視區(qū)域 ...

    DevYK 評(píng)論0 收藏0

  • 每日 30 秒 ? 判斷是否為頁(yè)面底部

    showImg(https://segmentfault.com/img/remote/1460000018771130?w=900&h=500); 簡(jiǎn)介 分頁(yè)、優(yōu)化、可視區(qū)域、無(wú)限加載 寫(xiě)前端頁(yè)面時(shí)最經(jīng)常遇到的開(kāi)發(fā)需求之一就是 渲染后端數(shù)據(jù)返回的數(shù)據(jù)對(duì)象，當(dāng)數(shù)據(jù)對(duì)象數(shù)量極多的時(shí)候便需要進(jìn)行分頁(yè)。 常見(jiàn)的分頁(yè)方式有三種： 在頁(yè)面底部生成 上一頁(yè)、下一頁(yè)、頁(yè)面列表 按鈕。 用戶(hù)可以很直接的選擇...

    callmewhy 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<