摘要:為什么看博客的時候里面的鏈接總是作為一個野路子程序員,看大牛的博客是學(xué)習(xí),進步的很重要的一個信息來源。博主大多數(shù)的博主并不是通過寫博客盈利賺錢,所以不可能定期去檢查以前博文中的鏈接是否有效。在檢測的全面性和精準(zhǔn)度方面還不做保證。
為什么看博客的時候里面的鏈接總是 404
作為一個野路子程序員,看大牛的博客是學(xué)習(xí),進步的很重要的一個信息來源。
作為一個信息的匯聚點,博客中總會引用些其他的經(jīng)典文章,或是某開源項官方文檔中的重要部分。
然而由于更新博客是很低頻率的事件,所以隨著時間推移,很可能發(fā)生的情況是:大牛引用的另一篇文章
已經(jīng)被刪除,或者干脆域名到期,引用的博客關(guān)門大吉;由于開源項版本升級,原先的文檔已經(jīng)不適用因而
官方刪除了。
So, 404...
嘗試測試了 阮一峰(http://www.ruanyifeng.com/blog/), 王垠(http://www.yinwang.org/) 等知名博主的博客,發(fā)現(xiàn)幾乎都有鏈接失效的問題。
可見此問題很常見。
大多數(shù)的博主并不是通過寫博客盈利賺錢,所以不可能定期去檢查以前博文中的鏈接是否有效。
話說回來,即便真的是通過寫博客盈利賺錢,那么多的博文,也不太可能定期去檢查以前博文中的鏈接是否有效吧。。
雖然對我很不友好,破壞了上下文和文章的完整性,但是
習(xí)慣了。。認了吧。。。湊合看吧。。
由于眾所周知的原因,中國讀者遇到引用鏈接不可訪問的情況更多,并且不可訪問的鏈接越來越多。
作為一個獨立開發(fā)者,用了若干個第三方服務(wù),CDN 等。天有不測風(fēng)云風(fēng)云,保不齊哪天哪個服務(wù)商就黃了,或者哪個 CDN
又被墻了。。。
一個可能的解決方法 link doctor
https://doctor.dry.ninja/
博主(站長)在網(wǎng)站注冊后,系統(tǒng)嘗試定期(每6小時1次,可設(shè)定)對網(wǎng)站進行一次分析,找出失效的引用的鏈接,或是失效的引用的資源(js, css),
并將分析結(jié)果發(fā)送給博主(站長)。
目前剛剛有想法做這個東西,并做了個簡單的 Demo。
在檢測的全面性和精準(zhǔn)度方面還不做保證。如果真的有博主有這個需求,請收藏、標(biāo)星。如果沒有人有需求的話,就棄坑了。。
或者有什么好的建議的話,歡迎提個 issue。
github 地址在此:
https://github.com/FingerLiu/...
爬蟲被 ban
由于國內(nèi)和國內(nèi)網(wǎng)絡(luò)環(huán)境不同,分別部署不同的服務(wù)器
什么需要檢測什么不需要
對引用的鏈接進行備份(snapshot)。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://www.ezyhdfw.cn/yun/41075.html
摘要:或者及,一般來說,個人博客網(wǎng)站網(wǎng)頁的后綴用的都是這三種。第二步中添加在給織夢設(shè)置錯誤頁面之前,根目錄是沒有文件的,那么我們就要創(chuàng)建一個或者利用在線工具生成一個,只需要添加進去,然后直接生成下載,出來是,上傳之后再根目錄里面修改一下就可以了。首先在網(wǎng)上搜索織夢系統(tǒng)404錯誤頁面的一個網(wǎng)頁或者也可以自己編輯,然后在通過網(wǎng)頁編輯器編輯一下這個404網(wǎng)頁,然后把里面的網(wǎng)址改為自己的網(wǎng)址,佐言用的是 ...
摘要:需要注意的是,代碼中的所有連續(xù)的空行換行也被顯示為一個空格常用的特殊字符內(nèi)容代碼空格版權(quán)注冊好的,常用標(biāo)簽暫且到此標(biāo)題標(biāo)簽h1~h6 顧名思義,這些就是把字體設(shè)置為大字體的,就如博客園的這個編輯器里的格式: 不信的話我們自己設(shè)置看看:好的,從本篇文章開始,我們需要動手了 test 標(biāo)題 標(biāo)題 標(biāo)題 標(biāo)題 標(biāo)題 ...
摘要:確認創(chuàng)建成功后,記得在中注冊因為我們想顯示發(fā)表評論的時間,修改時區(qū)設(shè)置為上海的時區(qū)。處理錯誤請求發(fā)表評論僅接受請求。返回到一個適當(dāng)?shù)闹屑从脩舭l(fā)送評論后,重新定向到文章詳情頁面。總結(jié)本章實現(xiàn)了發(fā)表評論展示評論的功能。 在沒有互聯(lián)網(wǎng)的年代,我們用日記來記錄每天的心得體會。小的時候我有一個帶鎖的日記本,生怕被別人看見里面寫了啥,鑰匙藏得那叫一個絕。 現(xiàn)在時代變了,網(wǎng)絡(luò)版的日記本:博客,卻巴不...
閱讀 1740·2021-10-29 13:11
閱讀 966·2021-09-22 10:02
閱讀 1750·2021-08-20 09:35
閱讀 1625·2019-08-30 15:54
閱讀 2573·2019-08-30 15:44
閱讀 1452·2019-08-29 16:52
閱讀 1170·2019-08-23 12:56
閱讀 817·2019-08-22 15:16