Python selenium+cookie實現(xiàn)免密登陸的示例代碼
今天爬取airbnb的租房數(shù)據(jù)時,遇到了登陸問題。自己動手解決了一下。
我們知道,http是無狀態(tài)的,那么網(wǎng)頁如何實現(xiàn)用戶登陸注冊功能呢?Session和Cookie就是為了滿足這種需求出現(xiàn)的技術(shù)。
首先介紹一下Session和Cookie的概念。
在Web中Session對象存儲特定用戶會話所需的屬性及配置信息。這樣,當(dāng)用戶在應(yīng)用程序的Web頁之間跳轉(zhuǎn)時,存儲在Session對象中的變量將不會丟失,而是在整個用戶會話中一直存在下去。當(dāng)用戶請求來自應(yīng)用程序的 Web頁時,如果該用戶還沒有會話,則Web服務(wù)器將自動創(chuàng)建一個 Session對象。當(dāng)會話過期或被放棄后,服務(wù)器將終止該會話。
Cookie,有時也用其復(fù)數(shù)形式 Cookies。類型為“小型文本文件”,是某些網(wǎng)站為了辨別用戶身份,進(jìn)行Session跟蹤而儲存在用戶本地終端上的數(shù)據(jù)(通常經(jīng)過加密),由用戶客戶端計算機暫時或永久保存的信息。
當(dāng)用戶第一次訪問某個網(wǎng)頁時,服務(wù)器會創(chuàng)建一個Session對象,用于存儲與該用戶會話的屬性以及配置信息,并且返回一個帶有set-cookie字段的響應(yīng)頭給客戶端,客戶端瀏覽器會把cookie保存到本地,下一次訪問該網(wǎng)頁時,會加上cookie。服務(wù)器通過cookie辨認(rèn)是否有用戶的Session。這樣就實現(xiàn)了用戶的登陸注冊功能,但是Session和Cookie的應(yīng)用遠(yuǎn)不及此,這里不再贅述。
那么為了實現(xiàn)免密登陸,我們需要做如下幾件事情:
獲取登陸airbnb時客戶端瀏覽器存儲的cookies。
把cookies寫入本地。
下次用selenium登陸airbnb時,把cookies帶上。
獲取cookies:
使用selenium的get_cookies()函數(shù)來獲取cookies。
但是如何實現(xiàn)登陸呢?總得要先登陸了,才能有cookies吧?可以在代碼中加一段休眠時間,在休眠時間我們手動完成登陸,休眠過后,再讓代碼記錄cookies即可。
import time from msedge.selenium_tools import Edge, EdgeOptions import chardet # 返回一個driver對象 def activate_selenium_driver(): options = EdgeOptions() # options.use_chromium = True options.add_experimental_option('excludeSwitches', ['enable-automation']) options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" # 瀏覽器的位置 driver = Edge(options=options, executable_path=r"D:\ERic\WORK\python\Spider\msedgedriver.exe") # 相應(yīng)的瀏覽器的驅(qū)動位置 return driver def check_charset(file_path): with open(file_path, "rb") as f: data = f.read(4) charset = chardet.detect(data)['encoding'] return charset baseurl = 'https://www.airbnb.cn/s/%E6%B7%B1%E5%9C%B3/homes?refinement_paths%5B%5D=%2Fhomes¤t_tab_id=home_tab&selected_tab_id=home_tab&screen_size=large&hide_dates_and_guests_filters=false&place_id=ChIJkVLh0Aj0AzQRyYCStw1V7v0&map_toggle=false' driver = activate_selenium_driver() driver.get(baseurl) # 20秒的休眠時間以手動完成登陸 for i in range(0, 20): print(20 - i) time.sleep(1) # 獲取cookies cookies = driver.get_cookies() # 保存到本地 with open('cookies.txt', 'w', encoding=check_charset('cookies.txt')) as f: for i in cookies: f.write(str(i)) f.write('\n')
攜帶cookies實現(xiàn)免密登陸:
baseurl = 'https://www.airbnb.cn/s/%E6%B7%B1%E5%9C%B3/homes?refinement_paths%5B%5D=%2Fhomes¤t_tab_id=home_tab&selected_tab_id=home_tab&screen_size=large&hide_dates_and_guests_filters=false&place_id=ChIJkVLh0Aj0AzQRyYCStw1V7v0&map_toggle=false' driver.get(baseurl) cookies = [] with open('cookies.txt', 'r', encoding=funcs.funcs.check_charset('cookies.txt')) as f: for i in f: cookies.append(eval(i.strip())) for i in cookies: driver.add_cookie(i) time.sleep(3) driver.refresh()
再次打開Airbnb時,發(fā)現(xiàn)已經(jīng)是登陸狀態(tài),大功告成辣。
到此這篇關(guān)于Python selenium+cookie實現(xiàn)免密登陸的示例代碼的文章就介紹到這了,更多相關(guān)selenium cookie免密登陸內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python使用QQ郵箱實現(xiàn)自動發(fā)送郵件
這篇文章主要為大家詳細(xì)介紹了python使用QQ郵箱實現(xiàn)自動發(fā)送郵件,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2020-06-06python3使用Pillow、tesseract-ocr與pytesseract模塊的圖片識別的方法
這篇文章主要介紹了python3使用Pillow、tesseract-ocr與pytesseract模塊的圖片識別的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02刪除python pandas.DataFrame 的多重index實例
今天小編就為大家分享一篇刪除python pandas.DataFrame 的多重index實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06Python Charles抓包配置實現(xiàn)流程圖解
這篇文章主要介紹了Python Charles抓包實現(xiàn)流程圖解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-09-09