欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python模擬新浪微博登陸功能(新浪微博爬蟲)

 更新時間:2013年12月24日 14:26:50   作者:  
使用Python編寫一個模擬登陸的程序,利用這個原來可以設計自己的爬蟲,大家參考使用吧

1、主函數(WeiboMain.py):

復制代碼 代碼如下:

import urllib2
import cookielib

import WeiboEncode
import WeiboSearch

if __name__ == '__main__':
    weiboLogin = WeiboLogin('×××@gmail.com', '××××')#郵箱(賬號)、密碼
    if weiboLogin.Login() == True:
        print "登陸成功!"

前兩個import是加載Python的網絡編程模塊,后面的import是加載另兩個文件WeiboEncode.py和Weiboseach.py(稍后介紹)。主函數新建登陸對象,然后登陸。

2、WeiboLogin類(WeiboMain.py):

復制代碼 代碼如下:

class WeiboLogin:
    def __init__(self, user, pwd, enableProxy = False):
        "初始化WeiboLogin,enableProxy表示是否使用代理服務器,默認關閉"

        print "Initializing WeiboLogin..."
        self.userName = user
        self.passWord = pwd
        self.enableProxy = enableProxy

        self.serverUrl = "http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&rsakt=mod&client=ssologin.js(v1.4.11)&_=1379834957683"
        self.loginUrl = "http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.11)"
        self.postHeader = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/24.0'}

初始化函數,定義了兩個關鍵的url成員:self.serverUrl用于登陸的第一步(獲取servertime、nonce等),這里的第一步實質包含了解析新浪微博的登錄過程的1和2;self.loginUrl用于第二步(加密用戶和密碼后,POST給該URL,self.postHeader是POST的頭信息),這一步對應于解析新浪微博的登錄過程的3。類內函數還有3個:

復制代碼 代碼如下:

def Login(self):
        "登陸程序" 
        self.EnableCookie(self.enableProxy)#cookie或代理服務器配置

        serverTime, nonce, pubkey, rsakv = self.GetServerTime()#登陸的第一步
        postData = WeiboEncode.PostEncode(self.userName, self.passWord, serverTime, nonce, pubkey, rsakv)#加密用戶和密碼
        print "Post data length:\n", len(postData)

        req = urllib2.Request(self.loginUrl, postData, self.postHeader)
        print "Posting request..."
        result = urllib2.urlopen(req)#登陸的第二步——解析新浪微博的登錄過程中3
        text = result.read()
        try:
            loginUrl = WeiboSearch.sRedirectData(text)#解析重定位結果
              urllib2.urlopen(loginUrl)
        except:
            print 'Login error!'
            return False

        print 'Login sucess!'
        return True

self.EnableCookie用于設置cookie及代理服務器,網絡上有很多免費的代理服務器,為防止新浪封IP,可以使用。然后使登陸的第一步,訪問新浪服務器得到serverTime等信息,然后利用這些信息加密用戶名和密碼,構建POST請求;執(zhí)行第二步,向self.loginUrl發(fā)送用戶和密碼,得到重定位信息后,解析得到最終跳轉到的URL,打開該URL后,服務器自動將用戶登陸信息寫入cookie,登陸成功。

復制代碼 代碼如下:

def EnableCookie(self, enableProxy):
    "Enable cookie & proxy (if needed)."

    cookiejar = cookielib.LWPCookieJar()#建立cookie
    cookie_support = urllib2.HTTPCookieProcessor(cookiejar)

    if enableProxy:
        proxy_support = urllib2.ProxyHandler({'http':'http://xxxxx.pac'})#使用代理
         opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)
        print "Proxy enabled"
    else:
        opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

    urllib2.install_opener(opener)#構建cookie對應的opener

EnableCookie函數比較簡單

復制代碼 代碼如下:

def GetServerTime(self):
    "Get server time and nonce, which are used to encode the password"

    print "Getting server time and nonce..."
    serverData = urllib2.urlopen(self.serverUrl).read()#得到網頁內容
     print serverData

    try:
        serverTime, nonce, pubkey, rsakv = WeiboSearch.sServerData(serverData)#解析得到serverTime,nonce等
         return serverTime, nonce, pubkey, rsakv
    except:
        print 'Get server time & nonce error!'
        return None

WeiboSearch文件中的函數主要用于解析從服務器得到的數據,比較簡單。

3、sServerData函數(WeiboSearch.py):

復制代碼 代碼如下:

import re
import json

def sServerData(serverData):
    "Search the server time & nonce from server data"

    p = re.compile('\((.*)\)')
    jsonData = p.search(serverData).group(1)
    data = json.loads(jsonData)
    serverTime = str(data['servertime'])
    nonce = data['nonce']
    pubkey = data['pubkey']#
    rsakv = data['rsakv']#
    print "Server time is:", serverTime
    print "Nonce is:", nonce
    return serverTime, nonce, pubkey, rsakv

解析過程主要使用了正則表達式和JSON,這部分比較容易理解。另外Login中解析重定位結果部分函數也在這個文件中如下:

復制代碼 代碼如下:

def sRedirectData(text):
    p = re.compile('location\.replace\([\'"](.*?)[\'"]\)')
    loginUrl = p.search(text).group(1)
    print 'loginUrl:',loginUrl
    return loginUrl

4、從第一步到第二步要對用戶和密碼進行加密,編碼操作(WeiboEncode.py)

復制代碼 代碼如下:

import urllib
import base64
import rsa
import binascii

def PostEncode(userName, passWord, serverTime, nonce, pubkey, rsakv):
    "Used to generate POST data"

    encodedUserName = GetUserName(userName)#用戶名使用base64加密
     encodedPassWord = get_pwd(passWord, serverTime, nonce, pubkey)#目前密碼采用rsa加密
     postPara = {
        'entry': 'weibo',
        'gateway': '1',
        'from': '',
        'savestate': '7',
        'userticket': '1',
        'ssosimplelogin': '1',
        'vsnf': '1',
        'vsnval': '',
        'su': encodedUserName,
        'service': 'miniblog',
        'servertime': serverTime,
        'nonce': nonce,
        'pwencode': 'rsa2',
        'sp': encodedPassWord,
        'encoding': 'UTF-8',
        'prelt': '115',
        'rsakv': rsakv,    
        'url': 'http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack',
        'returntype': 'META'
    }
    postData = urllib.urlencode(postPara)#網絡編碼
    return postData

PostEncode函數構建POST的消息體,要求構建得到內容與真正登陸所需的信息相同。難點在用戶名和密碼的加密方式:

復制代碼 代碼如下:

def GetUserName(userName):
    "Used to encode user name"

    userNameTemp = urllib.quote(userName)
    userNameEncoded = base64.encodestring(userNameTemp)[:-1]
    return userNameEncoded


def get_pwd(password, servertime, nonce, pubkey):
    rsaPublickey = int(pubkey, 16)
    key = rsa.PublicKey(rsaPublickey, 65537) #創(chuàng)建公鑰
    message = str(servertime) + '\t' + str(nonce) + '\n' + str(password) #拼接明文js加密文件中得到
    passwd = rsa.encrypt(message, key) #加密
    passwd = binascii.b2a_hex(passwd) #將加密信息轉換為16進制。
    return passwd

新浪登錄過程,密碼的加密方式原來是SHA1,現在變?yōu)榱薘SA,以后可能還會變化,但是各種加密算法在Python中都有對應的實現,只要發(fā)現它的加密方式(),程序比較易于實現。

到這里,Python模擬登陸新浪微博就成功了,運行輸出:

復制代碼 代碼如下:

loginUrl: http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&ssosavestate=1390390056&ticket=ST-MzQ4NzQ5NTYyMA==-1387798056-xd-284624BFC19FE242BBAE2C39FB3A8CA8&retcode=0
Login sucess!

果需要爬取微博中的信息,接下來只需要在Main函數后添加爬取、解析模塊就可以了,比如讀取某微博網頁的內容:

復制代碼 代碼如下:

htmlContent = urllib2.urlopen(myurl).read()#得到myurl網頁的所有內容(html)

大家可以根據不同的需求設計不同的爬蟲模塊了,模擬登陸的代碼放在這里。

相關文章

  • python批量修改ssh密碼的實現

    python批量修改ssh密碼的實現

    這篇文章主要介紹了python批量修改ssh密碼的實現,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-08-08
  • Python編程深度學習計算庫之numpy

    Python編程深度學習計算庫之numpy

    今天小編就為大家分享一篇關于Python編程深度學習計算庫之numpy,小編覺得內容挺不錯的,現在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2018-12-12
  • Python實現視頻目標檢測與軌跡跟蹤流程詳解

    Python實現視頻目標檢測與軌跡跟蹤流程詳解

    通過閱讀相關文獻及測試,找到了一種基于多模板匹配的改進方法,可以對遙感視頻衛(wèi)星中的移動目標進行探測,并繪制其軌跡。根據實驗結果發(fā)現,可以比較有效的對運動目標進行跟蹤
    2023-01-01
  • python實戰(zhàn)之德州撲克第二步-判斷牌型

    python實戰(zhàn)之德州撲克第二步-判斷牌型

    這篇文章主要介紹了python實戰(zhàn)之德州撲克第二步-判斷牌型,文中有非常詳細的代碼示例,對正在學習python的小伙伴們有非常好的幫助,需要的朋友可以參考下
    2021-04-04
  • python中列表的常見操作梳理總結(二)

    python中列表的常見操作梳理總結(二)

    這篇文章主要介紹了python中列表的常見操作總結,文章圍通過列表的索引與切片的相關資料展開全文詳細的內容,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-07-07
  • Python中l(wèi)ogging日志模塊代碼調試過程詳解

    Python中l(wèi)ogging日志模塊代碼調試過程詳解

    這篇文章主要介紹了Python中l(wèi)ogging日志模塊代碼調試,今天來看看如何在代碼中定義日志,并探討日志的權限,需要的朋友可以參考下
    2023-04-04
  • python處理csv中的空值方法

    python處理csv中的空值方法

    今天小編就為大家分享一篇python處理csv中的空值方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • python計算兩個數的百分比方法

    python計算兩個數的百分比方法

    今天小編就為大家分享一篇python計算兩個數的百分比方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • python字符串拼接和列表拼接方式

    python字符串拼接和列表拼接方式

    這篇文章主要介紹了python字符串拼接和列表拼接方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • AI與Python人工智能啟發(fā)式搜索概念理解

    AI與Python人工智能啟發(fā)式搜索概念理解

    這篇文章主要為大家介紹了AI與Python啟發(fā)式搜索概念詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-05-05

最新評論