摘要：如何利用網(wǎng)頁(yè)請(qǐng)求暴露出來(lái)的接口去抓取網(wǎng)頁(yè)數(shù)據(jù)很多爬蟲(chóng)都能實(shí)現(xiàn)這個(gè)功能?？缬蛲ㄐ艜r(shí)，瀏覽器會(huì)報(bào)如下錯(cuò)誤其實(shí)這兩個(gè)問(wèn)題都是由于跨域造成的。結(jié)果這些數(shù)據(jù)可以在請(qǐng)求成功會(huì)傳回本地。

如何利用網(wǎng)頁(yè)ajax請(qǐng)求暴露出來(lái)的接口去抓取網(wǎng)頁(yè)數(shù)據(jù)？很多爬蟲(chóng)都能實(shí)現(xiàn)這個(gè)功能。不過(guò)今天要來(lái)和大家八一八單從前端的角度，利用js解決這個(gè)問(wèn)題。

大家都知道，在不同域的情況下是不能發(fā)送ajax請(qǐng)求的，瀏覽器會(huì)報(bào)如下錯(cuò)誤：

同時(shí)，內(nèi)嵌的iframe中無(wú)法進(jìn)行跨域通信的，也就是說(shuō)不同域的iframe是無(wú)法互相讀取數(shù)據(jù)的(當(dāng)然利用hash變化可以從父window傳入數(shù)據(jù)到子iframe，不過(guò)并沒(méi)有什么意義)。iframe跨域通信時(shí)，瀏覽器會(huì)報(bào)如下錯(cuò)誤：

其實(shí)這兩個(gè)問(wèn)題都是由于跨域造成的。

下面就介紹如何解決這個(gè)問(wèn)題。

其實(shí)問(wèn)題的關(guān)鍵就在于，瀏覽器在解析ajax請(qǐng)求地址時(shí)會(huì)和當(dāng)前網(wǎng)頁(yè)的地址進(jìn)行比較，如果是跨域的，那就禁止掉并且報(bào)錯(cuò)。那么我們?nèi)绻尀g覽器解析出的ajax地址和當(dāng)前網(wǎng)頁(yè)的解析地址一樣，瀏覽器不就不會(huì)禁止我們的請(qǐng)求了么。

那么瀏覽器是如何解析url的呢？

首先當(dāng)瀏覽器訪(fǎng)問(wèn)一個(gè)域名時(shí)，會(huì)查詢(xún)本地的DNS緩存中是否有關(guān)于這個(gè)網(wǎng)址對(duì)應(yīng)ip地址，如果有的話(huà)，直接從本地取得ip地址然后訪(fǎng)問(wèn)，如果沒(méi)有，瀏覽器就會(huì)向DNS服務(wù)器發(fā)出DNS請(qǐng)求獲得該域名對(duì)應(yīng)的ip地址然后存入本地緩存然后訪(fǎng)問(wèn)。

那么介于以上問(wèn)題，我們只要在本地偽造一條域名的解析方式，然后再通過(guò)偽造的域和目標(biāo)域進(jìn)行跨域請(qǐng)求不就可以了么。

windows下的打開(kāi)C:WindowsSystem32driversetc
這個(gè)文件夾下有一個(gè)hosts文件，如果改過(guò)hosts來(lái)上谷歌的同學(xué)對(duì)這個(gè)應(yīng)該很熟悉，在hosts文件里加上這樣一段代碼：

127.0.0.1         a.目標(biāo)網(wǎng)址.com

這樣你的訪(fǎng)問(wèn)a.目標(biāo)網(wǎng)址.com就和訪(fǎng)問(wèn)localhost一樣了，這樣做的目的是方便搭起本地的服務(wù)時(shí)，本地的服務(wù)和目標(biāo)的域名之間就不會(huì)存在跨域問(wèn)題了，這樣就能在本地，通過(guò)在目標(biāo)網(wǎng)頁(yè)植入iframe標(biāo)簽的方式，向目標(biāo)域發(fā)起跨域請(qǐng)求，取得目標(biāo)域的數(shù)據(jù)。

腳本代碼，直接插在父域

var mySrc = "http://a.目標(biāo)網(wǎng)址.com:9000/myIframe.html";

document.domain = "目標(biāo)網(wǎng)址.com";     //關(guān)鍵代碼，將域提升到根域

$("body").append("