亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

爬蟲入門到精通-headers的詳細(xì)講解（模擬登錄知乎）

changfeng1050 / 2749人閱讀

摘要：本文章屬于爬蟲入門到精通系統(tǒng)教程第七講直接開始案例吧。本次我們實(shí)現(xiàn)如何模擬登陸知乎。

本文章屬于爬蟲入門到精通系統(tǒng)教程第七講

直接開始案例吧。

本次我們實(shí)現(xiàn)如何模擬登陸知乎。

1.抓包

首先打開知乎登錄頁 知乎 - 與世界分享你的知識、經(jīng)驗(yàn)和見解

注意打開開發(fā)者工具后點(diǎn)擊“preserve log”，密碼記得故意輸入錯(cuò)誤，然后點(diǎn)擊登錄

我們很簡單的就找到了 我們需要的請求

_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn

可以看到請求一共有三個(gè)參數(shù)

email 和password就是我們需要登錄的賬號及密碼

那么_xsrf是什么？我們在哪能找到？

像“_xsrf”這種參數(shù)，一般叫做頁面校檢碼，是來檢查你是否是從正常的登錄頁面過來的。

那我們復(fù)制這個(gè)值，在登錄頁面找找看。

//input[@name="_xsrf"]/@value

所以，本次登錄我們需要得到的數(shù)據(jù)已經(jīng)都得到了

步驟如下：

打開知乎登錄頁面，獲取_xsrf

把_xsrf和自己的賬號及密碼一起發(fā)送（模擬登錄）

2.模擬登錄 
import requests

url = "https://www.zhihu.com/#signin"
z = requests.get(url)
print z.status_code

我們會(huì)看到 http狀態(tài)碼為500...

至于為什么會(huì)返回500狀態(tài)碼呢？是因?yàn)槲覀冇贸绦騺碓L問知乎被發(fā)現(xiàn)了...

我們偽裝成瀏覽器，添加一行

可以看到返回正常了，http狀態(tài)碼為200(這就是headers的作用)

那我們現(xiàn)在獲取_xsrf

from lxml import etree
sel = etree.HTML(z1.content)
# 這個(gè)xsrf怎么獲取 我們上面有講到
_xsrf = sel.xpath("http://input[@name="_xsrf"]/@value")[0]

然后模擬登錄

loginurl = "https://www.zhihu.com/login/email"
# 這里的_xsrf就是我們剛剛上面得到的
formdata = {
    "email":"admin@wuaics.cn",
    "password":"你的密碼",
    "_xsrf":_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
 #200
print z2.content
# "{"r":0,
 "msg": "u767bu5f55u6210u529f"
}"
print z2.json()["msg"]
# 登陸成功

可以看到已經(jīng)模擬登錄并成功了。

那我們來打開知乎 - 與世界分享你的知識、經(jīng)驗(yàn)和見解來檢查下 是否有登錄成功

# 為什么用這個(gè)頁面呢？
# 因?yàn)檫@個(gè)頁面只有登錄后才能看得到，如果沒有登錄的話 會(huì)自動(dòng)跳轉(zhuǎn)讓你登錄的
mylog = "https://www.zhihu.com/people/pa-chong-21/logs"
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u"https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs"

發(fā)現(xiàn)頁面url是 (https://www.zhihu.com/?next=%...

并不是 我前面輸入的 (https://www.zhihu.com/people/...

說明知乎判斷我們沒有登錄，然后把我們跳轉(zhuǎn)到登錄頁面了.

如果感興趣的話，可以把z3.text 的返回值存為123.html，然后打開看看，是不是跳轉(zhuǎn)到登錄頁面了..

那么為什么會(huì)跳到登錄頁面呢？剛剛不是已經(jīng)登錄成功了么？

這是因?yàn)椋覀冞@幾個(gè)模擬請求，相互間都是獨(dú)立的，所以z2登錄成功了，和z3并沒有什么關(guān)系。

那如果我現(xiàn)在想要z3不用再模擬登錄一次，也能登錄的話，怎么辦呢？

我們可以把z2登錄成功后得到的cookie給z3,這樣，z3也就能登錄成功了.

用程序?qū)崿F(xiàn)

再次判斷下是否登錄成功。

z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u"https://www.zhihu.com/people/pa-chong-21/logs"

我們可以看到已經(jīng)正常訪問了。說明我們登錄成功了

所以，以后只要你帶著這個(gè)cookie，就可以訪問登錄后的頁面了.(這就是cookie的作用..)

最后附上一個(gè)小技巧.

當(dāng)你需要登錄，或者說你需要在一段會(huì)話中操作（也就是我們上面的操作）

會(huì)話對象高級用法 - Requests 2.10.0 文檔


會(huì)話對象讓你能夠跨請求保持某些參數(shù)。它也會(huì)在同一個(gè) Session 實(shí)例發(fā)出的所有請求之間保持 cookie， 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機(jī)發(fā)送多個(gè)請求，底層的 TCP 連接將會(huì)被重用，從而帶來顯著的性能提升。 (參見 HTTP persistent connection).

使用會(huì)話后，我們上面的代碼可以改成這樣

可以看到我們沒有把cookie傳過去，但是還是登錄成功了，這是因?yàn)閟ession會(huì)自動(dòng)幫你處理這些，會(huì)自動(dòng)幫你管理cookie

我們可以打印看下我們請求的headers

可以看到headers里面自動(dòng)加上了cookie

最后所有的代碼都在kimg1234/pachong

最后再次總結(jié)一下

看完本篇文章后，你應(yīng)該要

能理解User-Agent,cookie的作用

了解requests中的session用法

了解如何模擬登錄一個(gè)網(wǎng)頁

如果你對requests這個(gè)庫不太熟悉的話，你可以在快速上手 - Requests 2.10.0 文檔瀏覽。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/38609.html

相關(guān)文章

  • 爬蟲入門到精通-網(wǎng)頁的下載

    摘要：網(wǎng)頁的下載本文章屬于爬蟲入門到精通系統(tǒng)教程第四講在爬蟲入門到精通第二講中，我們了解了協(xié)議，那么我們現(xiàn)在使用這些協(xié)議來快速爬蟲吧本文的目標(biāo)當(dāng)你看完本文后，你應(yīng)該能爬取幾乎任何的網(wǎng)頁使用抓包抓包就是將網(wǎng)絡(luò)傳輸發(fā)送與接收的數(shù)據(jù)包進(jìn)行截獲重發(fā)編輯轉(zhuǎn) 網(wǎng)頁的下載 本文章屬于爬蟲入門到精通系統(tǒng)教程第四講 在爬蟲入門到精通第二講中，我們了解了HTTP協(xié)議，那么我們現(xiàn)在使用這些協(xié)議來快速爬蟲吧 本文的...

    JerryZou 評論0 收藏0

  • 爬蟲入門到精通-HTTP協(xié)議的講解

    摘要：協(xié)議的講解本文章屬于爬蟲入門到精通系統(tǒng)教程第三講什么是協(xié)議引用自維基百科超文本傳輸協(xié)議英文，縮寫是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。通過或者協(xié)議請求的資源由統(tǒng)一資源標(biāo)識符，來標(biāo)識。假定其下層協(xié)議提供可靠的傳輸。 HTTP協(xié)議的講解 本文章屬于爬蟲入門到精通系統(tǒng)教程第三講 什么是HTTP協(xié)議？ 引用自維基百科 超文本傳輸協(xié)議（英文：HyperText Transfer Protoco...

    Towers 評論0 收藏0

  • 首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時(shí)間永遠(yuǎn)都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評論0 收藏0

  • Chrome開發(fā)者工具，爬蟲必備，解決一半的問題

    摘要：但這邊特別提醒的是里看到的代碼不等于請求網(wǎng)址拿到的返回值。這個(gè)文件包含了列表中所有請求的各項(xiàng)參數(shù)及返回值信息，以便你查找分析。理解了這幾步，大部分網(wǎng)上的數(shù)據(jù)都可以拿到，說解決一半的問題可不是標(biāo)題黨。 網(wǎng)上爬蟲的教程實(shí)在太多了，知乎上搜一下，估計(jì)能找到不下一百篇。大家樂此不疲地從互聯(lián)網(wǎng)上抓取著一個(gè)又一個(gè)網(wǎng)站。但只要對方網(wǎng)站一更新，很可能文章里的方法就不再有效了。 每個(gè)網(wǎng)站抓取的代碼各不相...

    jiekechoo 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---25、requests：高級用法

    摘要：比如我們以知乎為例，直接利用來維持登錄狀態(tài)。測試后，發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)正則表達(dá)式 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---24、requests：基本使用下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---26、正則表達(dá)式 在前面一節(jié)我們了解了 Requests 的基本用法，如基本的 GET、POST 請求以及 Response...

    dingding199389 評論0 收藏0

發(fā)表評論

0條評論

最新活動(dòng)
閱讀需要支付1元查看
<