Python爬蟲實(shí)現(xiàn)自動(dòng)登錄、簽到功能的代碼
更新 2016/8/9:最近發(fā)現(xiàn)目標(biāo)網(wǎng)站已經(jīng)屏蔽了這個(gè)登錄簽到的接口(PS:不過我還是用這個(gè)方式賺到了將近一萬點(diǎn)積分·····)
前幾天女朋友跟我說,她在一個(gè)素材網(wǎng)站上下載東西,積分總是不夠用,積分是怎么來的呢,是每天登錄網(wǎng)站簽到獲得的,當(dāng)然也能購買,她不想去買,因?yàn)榕紶柌艜?huì)用一次,但是每到用的時(shí)候就發(fā)現(xiàn)積分不夠,又記不得每天去簽到,所以就有了這個(gè)糾結(jié)的事情。怎么辦呢,想辦法唄,于是我就用python寫了個(gè)小爬蟲,每天去自動(dòng)幫她簽到掙積分。廢話不多說,下面就講講代碼。
我這里用的是python3.4,使用python2.x的朋友如果有需要請(qǐng)繞道查看別的文章。
工具:Fiddler
首先下載安裝Fiddler,這個(gè)工具是用來監(jiān)聽網(wǎng)絡(luò)請(qǐng)求,有助于你分析請(qǐng)求鏈接和參數(shù)。
打開目標(biāo)網(wǎng)站:http://www.17sucai.com/,然后點(diǎn)擊登錄

好了,先別急著登錄,打開你的Fiddler,此時(shí)Fiddler里面是沒有監(jiān)聽到網(wǎng)絡(luò)請(qǐng)求的,然后回到頁面,輸入郵箱和密碼,點(diǎn)擊登錄,下面再到fiddler里面去看

這里面的第一個(gè)請(qǐng)求就是你點(diǎn)擊登錄的網(wǎng)絡(luò)請(qǐng)求,點(diǎn)擊這個(gè)鏈接可以在右邊看到你的一些請(qǐng)求信息

然后點(diǎn)擊WebForms可以看到你的請(qǐng)求參數(shù),也就是用戶名和密碼


下面我們有代碼來實(shí)現(xiàn)登錄功能
import urllib.request
import urllib
import gzip
import http.cookiejar
#定義一個(gè)方法用于生成請(qǐng)求頭信息,處理cookie
def getOpener(head):
# deal with the Cookies
<pre name="code" class="python"> cj = http.cookiejar.CookieJar()
pro = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(pro)
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
#定義一個(gè)方法來解壓返回信息
def ungzip(data):
try: # 嘗試解壓
print('正在解壓.....')
data = gzip.decompress(data)
print('解壓完畢!')
except:
print('未經(jīng)壓縮, 無需解壓')
return data
#封裝頭信息,偽裝成瀏覽器
header = {
'Connection': 'Keep-Alive',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
'Accept-Encoding': 'gzip, deflate',
'X-Requested-With': 'XMLHttpRequest',
'Host': 'www.17sucai.com',
}
url = 'http://www.17sucai.com/auth'
opener = getOpener(header)
id = 'xxxxxxxxxxxxx'#你的用戶名
password = 'xxxxxxx'#你的密碼
postDict = {
'email': id,
'password': password,
}
postData = urllib.parse.urlencode(postDict).encode()
op = opener.open(url, postData)
data = op.read()
data = ungzip(data)
print(data)
好了,接下來清空一下你的Fiddler,然后運(yùn)行這個(gè)程序,看一下你的Fiddler

你可以點(diǎn)擊這個(gè)鏈接,看看右邊的請(qǐng)求信息和你用瀏覽器請(qǐng)求的是不是一樣
下面是程序后代打印的信息

code=200表示登陸成功
解析來就需要獲取到簽到的url,這里你需要一個(gè)沒有簽到的賬號(hào)在網(wǎng)站中點(diǎn)擊簽到按鈕,然后通過Fiddler來獲取到簽到的鏈接和需要的信息。

然后點(diǎn)擊“簽到”,簽到成功后到Fiddler中查看捕捉到的url

點(diǎn)擊這個(gè)url可以在右邊查看訪問這個(gè)鏈接時(shí)所需要的頭信息和cookies神馬的,我們已經(jīng)登錄成功后直接使用cookies就行了,python對(duì)cookies的處理做好了封裝,下面是我的代碼中對(duì)cookies的使用
cj = http.cookiejar.CookieJar() pro = urllib.request.HTTPCookieProcessor(cj) opener = urllib.request.build_opener(pro)
下面是簽到成功返回的信息:code=200表示請(qǐng)求成功,day=1表示連續(xù)簽到一天,score=20表示獲得的積分?jǐn)?shù)

下面放出完整代碼,當(dāng)然,為了測試代碼簽到,你還需要你一沒有簽到過的賬號(hào)
import urllib.request
import urllib
import gzip
import http.cookiejar
def getOpener(head):
# deal with the Cookies
cj = http.cookiejar.CookieJar()
pro = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(pro)
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
def ungzip(data):
try: # 嘗試解壓
print('正在解壓.....')
data = gzip.decompress(data)
print('解壓完畢!')
except:
print('未經(jīng)壓縮, 無需解壓')
return data
header = {
'Connection': 'Keep-Alive',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
'Accept-Encoding': 'gzip, deflate',
'X-Requested-With': 'XMLHttpRequest',
'Host': 'www.17sucai.com',
}
url = 'http://www.17sucai.com/auth'
opener = getOpener(header)
id = 'xxxxxxx'
password = 'xxxxxxx'
postDict = {
'email': id,
'password': password,
}
postData = urllib.parse.urlencode(postDict).encode()
op = opener.open(url, postData)
data = op.read()
data = ungzip(data)
print(data)
url = 'http://www.17sucai.com/member/signin' #簽到的地址
op = opener.open(url)
data = op.read()
data = ungzip(data)
print(data)
相比登錄,簽到也就是在登錄完成后重新打開一個(gè)鏈接而已,由于我的賬號(hào)都已經(jīng)簽到過了,這里就不在貼運(yùn)行代碼的圖 了。
接下來要做的就是在你電腦上寫個(gè)bat 腳本,再在“任務(wù)計(jì)劃”中添加一個(gè)定時(shí)任務(wù)就行了。

在此之前你還需要配置一下python的環(huán)境變量,這里就不在贅述了。

到此這篇關(guān)于Python爬蟲實(shí)現(xiàn)自動(dòng)登錄、簽到功能的代碼的文章就介紹到這了,更多相關(guān)Python爬蟲實(shí)現(xiàn)自動(dòng)登錄、簽到內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 如何基于Python爬蟲爬取美團(tuán)酒店信息
- 10個(gè)python爬蟲入門實(shí)例(小結(jié))
- python 爬蟲如何正確的使用cookie
- python 爬蟲基本使用——統(tǒng)計(jì)杭電oj題目正確率并排序
- python 如何使用find和find_all爬蟲、找文本的實(shí)現(xiàn)
- Python爬蟲代理池搭建的方法步驟
- python如何提升爬蟲效率
- python爬蟲構(gòu)建代理ip池抓取數(shù)據(jù)庫的示例代碼
- python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)
- Python 通過爬蟲實(shí)現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼
- Python爬蟲防封ip的一些技巧
- Python爬蟲爬取微信朋友圈
- python爬蟲使用requests發(fā)送post請(qǐng)求示例詳解
- python爬蟲使用正則爬取網(wǎng)站的實(shí)現(xiàn)
- Python爬蟲獲取豆瓣電影并寫入excel
- Python3爬蟲關(guān)于識(shí)別點(diǎn)觸點(diǎn)選驗(yàn)證碼的實(shí)例講解
- Selenium結(jié)合BeautifulSoup4編寫簡單的python爬蟲
相關(guān)文章
Python 序列化 pickle/cPickle模塊使用介紹
這篇文章主要介紹了Python 序列化 pickle/cPickle模塊使用介紹,需要的朋友可以參考下2014-11-11
Python-docx 實(shí)現(xiàn)整體修改或者部分修改文字的大小和字體類型
這篇文章主要介紹了Python-docx 實(shí)現(xiàn)整體修改或者部分修改文字的大小和字體類型,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03
python3使用PyMysql連接mysql數(shù)據(jù)庫實(shí)例
本篇文章主要介紹了python3使用PyMysql連接mysql數(shù)據(jù)庫實(shí)例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-02-02
分布式爬蟲scrapy-redis的實(shí)戰(zhàn)踩坑記錄
最近用scrapy-redis嘗試了分布式爬蟲,使用過程中也遇到了不少問題,下面這篇文章主要給大家介紹了關(guān)于分布式爬蟲scrapy-redis的實(shí)戰(zhàn)踩坑記錄,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08
python?dowhy數(shù)據(jù)估計(jì)因果分析功能探索
這篇文章主要為大家介紹了python?dowhy數(shù)據(jù)估計(jì)因果分析功能實(shí)例探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-02-02
python之yield表達(dá)式學(xué)習(xí)
這篇文章主要介紹了python之yield表達(dá)式學(xué)習(xí),python中有一個(gè)略微奇怪的表達(dá)式叫yield expression,本文就來探究一下這是個(gè)什么東西,需要的朋友可以參考下2014-09-09
Python實(shí)現(xiàn)尋找回文數(shù)字過程解析
這篇文章主要介紹了Python實(shí)現(xiàn)尋找回文數(shù)字過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06

