中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

爬蟲入門到精通-headers的詳細講解(模擬登錄知乎)

2018-07-20    來源:編程學(xué)習網(wǎng)

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

本次我們實現(xiàn)如何模擬登陸知乎。

1.抓包

首先打開知乎登錄頁 知乎 - 與世界分享你的知識、經(jīng)驗和見解

注意打開開發(fā)者工具后點擊“preserve log”,密碼記得故意輸入錯誤,然后點擊登錄

我們很簡單的就找到了 我們需要的請求

_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:[email protected]

可以看到請求一共有三個參數(shù)

email 和password就是我們需要登錄的賬號及密碼

那么_xsrf是什么?我們在哪能找到?

像“_xsrf”這種參數(shù),一般叫做頁面校檢碼,是來檢查你是否是從正常的登錄頁面過來的。

那我們復(fù)制這個值,在登錄頁面找找看。

//input[@name="_xsrf"]/@value

所以,本次登錄我們需要得到的數(shù)據(jù)已經(jīng)都得到了

步驟如下:

  1. 打開知乎登錄頁面,獲取_xsrf

  2. 把_xsrf和自己的賬號及密碼一起發(fā)送(模擬登錄)

2.模擬登錄

import requests

url = 'https://www.zhihu.com/#signin'
z = requests.get(url)
print z.status_code

我們會看到 http狀態(tài)碼為500...

至于為什么會返回500狀態(tài)碼呢?是因為我們用程序來訪問知乎被發(fā)現(xiàn)了...

我們偽裝成瀏覽器,添加一行

可以看到返回正常了,http狀態(tài)碼為200 (這就是headers的作用)

那我們現(xiàn)在獲取_xsrf

from lxml import etree
sel = etree.HTML(z1.content)
# 這個xsrf怎么獲取 我們上面有講到
_xsrf = sel.xpath('//input[@name="_xsrf"]/@value')[0]

然后模擬登錄

loginurl = 'https://www.zhihu.com/login/email'
# 這里的_xsrf就是我們剛剛上面得到的
formdata = {
    'email':'[email protected]',
    'password':'你的密碼',
    '_xsrf':_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
 #200
print z2.content
# '{"r":0,\n "msg": "\\u767b\\u5f55\\u6210\\u529f"\n}'
print z2.json()['msg']
# 登陸成功

可以看到已經(jīng)模擬登錄并成功了。

那我們來打開 知乎 - 與世界分享你的知識、經(jīng)驗和見解 來檢查下 是否有登錄成功

# 為什么用這個頁面呢?
# 因為這個頁面只有登錄后才能看得到,如果沒有登錄的話 會自動跳轉(zhuǎn)讓你登錄的
mylog = 'https://www.zhihu.com/people/pa-chong-21/logs'
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u'https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs'

發(fā)現(xiàn)頁面url是 ( https://www.zhihu.com/?next=%...

并不是 我前面輸入的 ( https://www.zhihu.com/people/...

說明知乎判斷我們沒有登錄,然后把我們跳轉(zhuǎn)到登錄頁面了.

如果感興趣的話,可以把z3.text 的返回值存為123.html,然后打開看看,是不是跳轉(zhuǎn)到登錄頁面了..

那么為什么會跳到登錄頁面呢?剛剛不是已經(jīng)登錄成功了么?

這是因為,我們這幾個模擬請求,相互間都是獨立的,所以z2登錄成功了,和z3并沒有什么關(guān)系。

那如果我現(xiàn)在想要z3不用再模擬登錄一次,也能登錄的話,怎么辦呢?

我們可以把z2登錄成功后得到的cookie給z3,這樣,z3也就能登錄成功了.

用程序?qū)崿F(xiàn)

再次判斷下是否登錄成功。

z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u'https://www.zhihu.com/people/pa-chong-21/logs'

我們可以看到已經(jīng)正常訪問了。說明我們登錄成功了

所以,以后只要你帶著這個cookie,就可以訪問登錄后的頁面了. (這就是cookie的作用..)

最后附上一個小技巧.

當你需要登錄,或者說你需要在一段會話中操作(也就是我們上面的操作)

會話對象 高級用法 - Requests 2.10.0 文檔

會話對象讓你能夠跨請求保持某些參數(shù)。它也會在同一個 Session 實例發(fā)出的所有請求之間保持 cookie, 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發(fā)送多個請求,底層的 TCP 連接將會被重用,從而帶來顯著的性能提升。

使用會話后,我們上面的代碼可以改成這樣

可以看到我們沒有把cookie傳過去,但是還是登錄成功了,這是因為session會自動幫你處理這些,會自動幫你管理cookie

我們可以打印看下我們請求的headers

可以看到headers里面自動加上了cookie

最后再次總結(jié)一下

看完本篇文章后,你應(yīng)該要

  • 能理解User-Agent,cookie的作用

  • 了解requests中的session用法

  • 了解如何模擬登錄一個網(wǎng)頁

 

來自:https://segmentfault.com/a/1190000009111635

 

標簽: 代碼 開發(fā)者

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:一個簡單實用的Android調(diào)試應(yīng)用技巧

下一篇:十億級視頻播放技術(shù)優(yōu)化揭密