Python實現(xiàn)爬取需要登錄的網(wǎng)站完整示例
本文實例講述了Python爬取需要登錄的網(wǎng)站實現(xiàn)方法。分享給大家供大家參考,具體如下:
import requests
from lxml import html
# 創(chuàng)建 session 對象。這個對象會保存所有的登錄會話請求。
session_requests = requests.session()
# 提取在登錄時所使用的 csrf 標記
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("http://input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
"username": "<你的用戶名>",
"password": "<你的密碼>",
"csrfmiddlewaretoken": authenticity_token # 在源代碼中,有一個名為 “csrfmiddlewaretoken” 的隱藏輸入標簽。
}
# 執(zhí)行登錄
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
# 已經(jīng)登錄成功了,然后從 bitbucket dashboard 頁面上爬取內(nèi)容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
# 測試爬取的內(nèi)容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)
更多關于Python相關內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
- 用python登錄帶弱圖片驗證碼的網(wǎng)站
- python中requests模擬登錄的三種方式(攜帶cookie/session進行請求網(wǎng)站)
- python實現(xiàn)網(wǎng)站微信登錄的示例代碼
- python實現(xiàn)網(wǎng)站用戶名密碼自動登錄功能
- 對python抓取需要登錄網(wǎng)站數(shù)據(jù)的方法詳解
- Python 登錄網(wǎng)站詳解及實例
- Python3使用requests登錄人人影視網(wǎng)站的方法
- Python爬蟲模擬登錄帶驗證碼網(wǎng)站
- python實現(xiàn)網(wǎng)站的模擬登錄
- 使用Python中的cookielib模擬登錄網(wǎng)站
- python 模擬網(wǎng)站登錄——滑塊驗證碼的識別
相關文章
Python之print函數(shù)里逗號和加號的區(qū)別及說明
這篇文章主要介紹了Python之print函數(shù)里逗號和加號的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
基于python和flask實現(xiàn)http接口過程解析
這篇文章主要介紹了基于python和flask實現(xiàn)http接口過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
python爬取豆瓣電影排行榜(requests)的示例代碼
這篇文章主要介紹了python爬取豆瓣電影排行榜(requests),本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-02-02
windows系統(tǒng)下Python環(huán)境搭建教程
這篇文章主要為大家詳細介紹了windows系統(tǒng)下Python環(huán)境搭建教程,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-03-03

