欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實(shí)現(xiàn)爬取需要登錄的網(wǎng)站完整示例

 更新時間：2017年08月19日 11:32:56   作者：羅兵  
這篇文章主要介紹了Python實(shí)現(xiàn)爬取需要登錄的網(wǎng)站,結(jié)合完整實(shí)例形式分析了Python登陸網(wǎng)站及數(shù)據(jù)抓取相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python爬取需要登錄的網(wǎng)站實(shí)現(xiàn)方法。分享給大家供大家參考，具體如下：

import requests
from lxml import html
# 創(chuàng)建 session 對象。這個對象會保存所有的登錄會話請求。
session_requests = requests.session()
# 提取在登錄時所使用的 csrf 標(biāo)記
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("http://input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
  "username": "<你的用戶名>",
  "password": "<你的密碼>",
  "csrfmiddlewaretoken": authenticity_token # 在源代碼中，有一個名為 “csrfmiddlewaretoken” 的隱藏輸入標(biāo)簽。
}
# 執(zhí)行登錄
result = session_requests.post(
  login_url,
  data = payload,
  headers = dict(referer=login_url)
)
# 已經(jīng)登錄成功了，然后從 bitbucket dashboard 頁面上爬取內(nèi)容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
  url,
  headers = dict(referer = url)
)
# 測試爬取的內(nèi)容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

相關(guān)文章

  • python turtle庫畫一個方格和圓實(shí)例

    python turtle庫畫一個方格和圓實(shí)例

    在本篇文章里小編給大家分享了關(guān)于python中用turtle庫畫一個方格和圓實(shí)例和相關(guān)代碼，需要的朋友們可以學(xué)習(xí)參考下。
    2019-06-06
  • np.dot()函數(shù)的用法詳解

    np.dot()函數(shù)的用法詳解

    這篇文章主要介紹了np.dot()函數(shù)的用法詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-01-01
  • python處理二進(jìn)制數(shù)據(jù)的方法

    python處理二進(jìn)制數(shù)據(jù)的方法

    這篇文章主要介紹了python處理二進(jìn)制數(shù)據(jù)的方法,涉及Python針對二進(jìn)制數(shù)據(jù)的相關(guān)操作技巧,需要的朋友可以參考下
    2015-06-06
  • Python之print函數(shù)里逗號和加號的區(qū)別及說明

    Python之print函數(shù)里逗號和加號的區(qū)別及說明

    這篇文章主要介紹了Python之print函數(shù)里逗號和加號的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • Playwright快速上手指南(入門教程)

    Playwright快速上手指南(入門教程)

    Playwright是由微軟公司2020年初發(fā)布的新一代自動化測試工具，相較于目前最常用的Selenium，本文就詳細(xì)的介紹一下快速上手指南，對新手有一定的幫助，感興趣的可以了解一下
    2021-12-12
  • 基于python和flask實(shí)現(xiàn)http接口過程解析

    基于python和flask實(shí)現(xiàn)http接口過程解析

    這篇文章主要介紹了基于python和flask實(shí)現(xiàn)http接口過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-06-06
  • python繪制漢諾塔

    python繪制漢諾塔

    這篇文章主要為大家詳細(xì)介紹了python繪制漢諾塔，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2021-03-03
  • python爬取豆瓣電影排行榜(requests)的示例代碼

    python爬取豆瓣電影排行榜(requests)的示例代碼

    這篇文章主要介紹了python爬取豆瓣電影排行榜(requests),本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2021-02-02
  • Python讀寫csv文件流程及異常解決

    Python讀寫csv文件流程及異常解決

    這篇文章主要介紹了Python讀寫csv文件流程及異常解決,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-10-10
  • windows系統(tǒng)下Python環(huán)境搭建教程

    windows系統(tǒng)下Python環(huán)境搭建教程

    這篇文章主要為大家詳細(xì)介紹了windows系統(tǒng)下Python環(huán)境搭建教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2017-03-03

最新評論