欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python使用Appium在移動(dòng)端抓取微博數(shù)據(jù)的實(shí)現(xiàn)

 更新時(shí)間：2021年08月26日 09:44:29   作者：李元靜  
Appium是移動(dòng)端的自動(dòng)化測(cè)試工具，讀者可以類比為PC端的selenium。通過(guò)它，我們可以驅(qū)動(dòng)App完成自動(dòng)化的一系列操作，同樣也可以爬取需要的內(nèi)容，本文就來(lái)介紹一下如何在移動(dòng)端抓取微博數(shù)據(jù)，感興趣的可以了解一下

使用Appium在移動(dòng)端抓取微博數(shù)據(jù)

Appium是移動(dòng)端的自動(dòng)化測(cè)試工具，讀者可以類比為PC端的selenium。通過(guò)它，我們可以驅(qū)動(dòng)App完成自動(dòng)化的一系列操作，同樣也可以爬取需要的內(nèi)容。

這里，我們需要首先在PC端安裝Appium軟件，安裝下載的地址如下：https://github.com/appium/appium-desktop/releases

安裝軟件的步驟非常簡(jiǎn)單，就與大多數(shù)軟件安裝步驟一樣，這里不在贅述。

但是只安裝Appium軟件并不能操作手機(jī)App，還需要下載專業(yè)的Android工具Android SDK，這里讀者可以直接下載安裝Android Studio即可，安裝完成之后，Android SDK也就安裝完成了。

基礎(chǔ)的配置到這里就結(jié)束了。下面，我們來(lái)通過(guò)Appium軟件操作手機(jī)App。

查找Android App的Package和入口

這里，博主主要介紹如何操作Android手機(jī)，感興趣的可以自己查閱資料配置IOS端。我們先來(lái)打開Appium軟件，看看其登錄界面。

默認(rèn)界面

如上圖所示，我們不需要更改任何參數(shù)，只需要點(diǎn)擊"Start Server v1.18.0"按鈕，進(jìn)行登錄操作，登錄之后，會(huì)出現(xiàn)如下界面。

步驟2

這里，我們點(diǎn)擊放大鏡即可。點(diǎn)擊之后，會(huì)出現(xiàn)步驟4的界面，我們需要在這里界面之中配置你需要操作或者說(shuō)爬取的App。

比如，這里博主需要爬取微博App的數(shù)據(jù)，那么你需要下載微博App的.apk安裝文件，然后通過(guò)反編譯查找其包名與啟動(dòng)界面。具體反編譯步驟如下：

步驟3

如上圖所示，我們需要通過(guò)壓縮文件打開weibo.apk安裝包，將AndroidManifest.xml拷貝出來(lái)。然后通過(guò)AXMLPrinter2.jar工具反編譯AndroidManifest.xml，默認(rèn)AndroidManifest.xml是亂碼，反編譯命令如下：

java -jar AXMLPrinter2.jar AndroidManifest.xml > AndroidManifest.txt

然后，我們?cè)诖蜷_其AndroidManifest.txt就可以看到微博的包名以及啟動(dòng)界面的Activity名稱，具體如下所示：

效果圖

這里，我們得到微博的包名為：com.sina.weibo，而微博的啟動(dòng)界面為：com.sina.weibo.MainTabActivity。接著，可以配置Appium軟件，效果如下：

步驟4

這里，讀者可以直接點(diǎn)擊Start Session，也可以點(diǎn)擊保存Save As方便下一次直接使用。這里，博主先保存再點(diǎn)擊Start Session（注意，deviceName是關(guān)于手機(jī)里面的設(shè)備名稱，并不一定是你的手機(jī)名稱）：

步驟5

可以看到，現(xiàn)在我們的微博手機(jī)界面已經(jīng)在Appium軟件上顯示了。下面，我們可以使用上面的眼睛按鈕，監(jiān)聽我們要操作的步驟，然后保存為一個(gè)動(dòng)作鏈。

記錄微博刷新動(dòng)作

在實(shí)際的微博中，我們通過(guò)下拉刷新微博界面。不過(guò)，其實(shí)還可以通過(guò)點(diǎn)擊底部的首頁(yè)按鈕進(jìn)行刷新，記錄操作并生成Python代碼的步驟如下所示：

步驟1

這里，我們需要先點(diǎn)擊上面的眼睛記錄我們后續(xù)的操作。然后你可以選中首頁(yè)按鈕，再點(diǎn)擊最右邊的Tap，即完成了首頁(yè)的刷新動(dòng)作，同時(shí)也會(huì)生成對(duì)應(yīng)的操作代碼：

步驟2

默認(rèn)生成的操作語(yǔ)言是Java，你可以通過(guò)上圖下拉選擇自己需要的語(yǔ)言。這里，博主選擇Python，畢竟講解的是Python爬蟲。

雖然上面的代碼確實(shí)是操作手機(jī)App的代碼，但是你直接copy到python編輯器，肯定是無(wú)法運(yùn)行的，我們需要安裝Appium-Python-Client包：

pip install Appium-Python-Client

安裝完成之后，我們通過(guò)”from appium import webdriver“引入開發(fā)包，然后就可以通過(guò)上面的代碼進(jìn)行App爬蟲或者說(shuō)一系列動(dòng)作鏈的操作了。

這里，我們先來(lái)實(shí)現(xiàn)將剛才通過(guò)Appium的操作，全部轉(zhuǎn)換為代碼形式，具體代碼如下所示：

from appium import webdriver
import time
server="http://localhost:4723/wd/hub"
desired_caps = {
    "platformName": "Android",
    "deviceName": "liyuanjing",
    "appPackage": "com.sina.weibo",
    "appActivity": "com.sina.weibo.MainTabActivity",
}
driver=webdriver.Remote(server,desired_caps)
time.sleep(10)
el2 = driver.find_element_by_accessibility_id("首頁(yè)")
el2.click()

如上面代碼所示，這樣我們就實(shí)現(xiàn)了通過(guò)軟件操作App的全部步驟。不過(guò)，這里有一個(gè)小問(wèn)題，因?yàn)榇蜷_App首次都是要賦予權(quán)限的，博主剛才手動(dòng)關(guān)了，并沒有錄制這個(gè)動(dòng)作。

所以，讀者可以自己把賦予權(quán)限的步驟也錄制進(jìn)去，那么就是全自動(dòng)了，這里作者偷個(gè)懶，就不錄制了。

爬取微博第一條信息

剛剛我們通過(guò)刷新的步驟，重新獲取了一遍微博首頁(yè)的內(nèi)容?，F(xiàn)在，我們通過(guò)代碼來(lái)獲取首頁(yè)第一條微博的內(nèi)容。我們先來(lái)看看代碼：

from appium import webdriver
import time

server = "http://localhost:4723/wd/hub"
desired_caps = {
    "platformName": "Android",
    "deviceName": "liyuanjing",
    "appPackage": "com.sina.weibo",
    "appActivity": "com.sina.weibo.MainTabActivity",
}
driver = webdriver.Remote(server, desired_caps)
time.sleep(10)
descs = driver.find_element_by_id("com.sina.weibo:id/contentTextView")
print(descs.get_attribute("content-desc"))

這里，我們通過(guò)ID找到了第一條微博的控件，同時(shí)通過(guò)其屬性"content-desc"獲取到了微博的內(nèi)容。圖解效果如下：

效果圖

運(yùn)行之后，效果如下：

最終效果

當(dāng)然，這里之所以不同是因?yàn)槲覀兪謾C(jī)運(yùn)行代碼將微博界面又重新啟動(dòng)了一遍。不過(guò)這是我們手機(jī)運(yùn)行后的第一條微博的信息。

到此這篇關(guān)于Python使用Appium在移動(dòng)端抓取微博數(shù)據(jù)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python Appium抓取微博數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評(píng)論