python網(wǎng)絡(luò)爬蟲之模擬登錄 自動獲取cookie值 驗證碼識別的具體實現(xiàn)
1、爬取網(wǎng)頁分析
爬取的目標(biāo)網(wǎng)址為:https://www.gushiwen.cn/
在登陸界面需要做的工作有,獲取驗證碼圖片,并識別該驗證碼,才能實現(xiàn)登錄。
使用瀏覽器抓包工具可以看到,登陸界面請求頭包括cookie和user-agent,故在發(fā)送請求時需要這兩個數(shù)據(jù)。其中user-agent可通過手動添加到請求頭中,而cookie值需要自動獲取。
分析完畢,實踐開始!??!
2、驗證碼識別
(1)基于線上打碼平臺識別驗證碼
(2)打碼平臺:超級鷹、云打碼、打碼兔
該項目使用超級鷹打碼平臺完成。網(wǎng)站鏈接:https://www.chaojiying.com/
將下載好的源碼進行封裝
3、cookie自動獲取
import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", #手動處理cookie # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825" } session = requests.Session() # 創(chuàng)建session對象 # 第一次使用session,捕獲請求cookie url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' page_text = session.get(url = url,headers = headers).text # 解析驗證碼圖片地址 tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0] # 將驗證碼圖片保存到本地 img_data = session.get(img_src,headers = headers).content with open('./code.jpg','wb') as fp: fp.write(img_data)
4、程序源代碼
chaojiying.py
#!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(password).hexdigest() self.soft_id = soft_id self.base_params = { 'user': self.username, 'pass2': self.password, 'softid': self.soft_id, } self.headers = { 'Connection': 'Keep-Alive', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)', } def PostPic(self, im, codetype): """ im: 圖片字節(jié) codetype: 題目類型 參考 http://www.chaojiying.com/price.html """ params = { 'codetype': codetype, } params.update(self.base_params) files = {'userfile': ('ccc.jpg', im)} r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers) return r.json() def ReportError(self, im_id): """ im_id:報錯題目的圖片ID """ params = { 'id': im_id, } params.update(self.base_params) r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers) return r.json() if __name__ == '__main__': chaojiying = Chaojiying_Client('超級鷹用戶名', '超級鷹用戶名的密碼', '96001') #用戶中心>>軟件ID 生成一個替換 96001 im = open('a.jpg', 'rb').read() #本地圖片文件路徑 來替換 a.jpg 有時WIN系統(tǒng)須要// print(chaojiying.PostPic(im, 1902)) #1902 驗證碼類型 官方網(wǎng)站>>價格體系 3.4+版 print 后要加()
sign in.py
# 模擬登錄 # 流程:1 對點擊登錄按鈕對應(yīng)的請求進行發(fā)送(post請求) # 2 處理請求參數(shù): # 用戶名 密碼 驗證碼 其他防偽參數(shù) import requests from lxml import etree from chaojiying_Python.chaojiying import Chaojiying_Client headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", } # 封裝好的驗證碼識別函數(shù) def tranformImgCode(imgPath,imgType): chaojiying = Chaojiying_Client('用戶名', '密碼', '軟件ID') # 用戶中心>>軟件ID 生成一個替換 軟件ID im = open(imgPath, 'rb').read() #本地圖片文件路徑 來替換 a.jpg 有時WIN系統(tǒng)須要// return(chaojiying.PostPic(im, imgType))['pic_str'] # 自動獲取cookie session = requests.Session() # 識別驗證碼 url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' page_text = session.get(url = url,headers = headers).text # 解析驗證碼圖片地址 tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0] # 將驗證碼圖片保存到本地 img_data = session.get(img_src,headers = headers).content with open('./code.jpg','wb') as fp: fp.write(img_data) # 識別驗證碼 code_text = tranformImgCode('./code.jpg',1902) print(code_text) login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx' data = { '__VIEWSTATE': 'frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=', '__VIEWSTATEGENERATOR': 'C93BE1AE', 'from': 'http://so.gushiwen.cn/user/collect.aspx', 'email': '用戶名', # 更換自己的用戶名 'pwd': '密碼', # 更換自己的密碼 'code': code_text, 'denglu': '登錄' } # 對點擊登錄按鈕發(fā)起請求,獲取登錄成功后對應(yīng)的頁面源碼數(shù)據(jù) page_text_login = session.post(url = login_url,data = data,headers = headers).text with open('./gushiwen.html','w',encoding = 'utf-8') as fp: fp.write(page_text_login)
覺得不錯的話,就點個贊吧??!😀😀
到此這篇關(guān)于python網(wǎng)絡(luò)爬蟲之模擬登錄 自動獲取cookie值 驗證碼識別的具體實現(xiàn)的文章就介紹到這了,更多相關(guān)python 模擬登錄 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python中mediapipe庫踩過的坑實戰(zhàn)記錄
MediaPipe是由google制作的開源的、跨平臺的機器學(xué)習(xí)框架,可以將一些模型部署到不同的平臺和設(shè)備上使用的同時,也能保住檢測速度,下面這篇文章主要給大家介紹了關(guān)于python中mediapipe庫踩過的坑的相關(guān)資料,需要的朋友可以參考下2023-04-04Python編程pygame模塊實現(xiàn)移動的小車示例代碼
這篇文章主要介紹了Python編程pygame模塊實現(xiàn)移動的小車示例代碼,具有一定借鑒價值,需要的朋友可以參考下2018-01-01selenium2.0中常用的python函數(shù)匯總
這篇文章主要介紹了selenium2.0中常用的python函數(shù),總結(jié)分析了selenium2.0中常用的python函數(shù)的功能、原理與基本用法,需要的朋友可以參考下2019-08-08python append、extend與insert的區(qū)別
這篇文章主要介紹了python append、extend與insert的區(qū)別的相關(guān)資料,初學(xué)者對這幾個概念經(jīng)常搞混,這里就幫大家理清楚,需要的朋友可以參考下2016-10-10python開發(fā)之IDEL(Python GUI)的使用方法圖文詳解
這篇文章主要介紹了python開發(fā)之IDEL(Python GUI)的使用方法,結(jié)合圖文形式較為詳細的分析總結(jié)了Python GUI的具體使用方法,需要的朋友可以參考下2015-11-11將 Ubuntu 16 和 18 上的 python 升級到最新 python3.8 的方法教程
這篇文章主要介紹了如何將 Ubuntu 16 和 18 上的 python 升級到最新 3.8 版,本文通過實例代碼相結(jié)合給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03Python實現(xiàn)端口流量轉(zhuǎn)發(fā)的示例代碼
端口流量轉(zhuǎn)發(fā)(Port Forwarding)是一種網(wǎng)絡(luò)通信技術(shù),用于將特定的網(wǎng)絡(luò)流量從一個端口或網(wǎng)絡(luò)地址轉(zhuǎn)發(fā)到另一個端口或地址,它在網(wǎng)絡(luò)中扮演著一個非常重要的角色,在Python語言中實現(xiàn)端口轉(zhuǎn)發(fā)非常容易,文中有相關(guān)的代碼示例,需要的朋友可以參考下2023-11-11