前言

之前寫過一個用python實現(xiàn)的百度新歌榜、熱歌榜下載器的文章，實現(xiàn)了百度新歌、熱門歌曲的爬取與下載。但那個采用的是單線程，網(wǎng)絡(luò)狀況一般的情況下，掃描前100首歌的時間大概得到40來秒。而且用Pyqt做的界面，在下載的過程中進(jìn)行窗口操作，會出現(xiàn)UI阻塞的現(xiàn)象。

前兩天有時間調(diào)整了一下，做了幾方面的改進(jìn)：

1.修改了UI界面阻塞的問題，下載的過程中可以進(jìn)行其它的UI操作;

2.爬蟲程序采用一個主線程，8個子線程的方式快速爬取，網(wǎng)絡(luò)狀況一致的情況下，將掃描100首歌曲的時間提高到了8、9秒左右；（本地下載速度大概300K左右）

3.解析網(wǎng)頁的方法由之前的HtmlParser變成了現(xiàn)在的BeautifulSoup;

要運(yùn)行此功能需要安裝PyQt、BeautifulSoup。運(yùn)行之前需要在settings.py文件中配置百度賬號和密碼。

username = "your baidu acount" #配置你的百度賬號 
password = "your baidu password" #配置你的百度密碼 

配置好賬戶和密碼后，直接雙擊spiderMan.py文件運(yùn)行即可。

運(yùn)行流程

1.首先由spiderMan.py進(jìn)入主程序，開始運(yùn)行。

2.主程序?qū)⒖刂茩?quán)交給dispatcher調(diào)度程序，調(diào)度程序首先登錄百度。

3.如果登錄成功，調(diào)度程序開啟8個子線程，由這8個子線程抓取百度新歌榜或百度熱歌榜的歌曲鏈接，分析鏈接，獲取真正的下載地址,并將下載地址、歌曲名稱、歌手信息寫入一個文本文件。

4.當(dāng)子線程執(zhí)行完畢，主程序讀取上一步生成的文本文件，加載UI窗體。

整個過程如下圖：

正常運(yùn)行后的效果如下圖：

問題：

在github上tigerstudent提出了兩個問題：

1.文件spiderMan.py中獲取當(dāng)前腳本所在的目錄 root = os.path.dirname(__file__)+"/" 獲取到的目錄為空，建議應(yīng)該用os.getcwd()。

這里我實際想要的是當(dāng)前腳本所在的絕對路徑，正確的腳本應(yīng)該是這樣的：os.path.abspath(os.path.dirname(__file__))+"/"

那么為什么os.path.dirname(__file__)和os.getcwd()為什么都不行呢？os.path.dirname(__file__)是當(dāng)前腳本相對于腳本的執(zhí)行目錄的相對路徑，而os.getcwd()是腳本實際執(zhí)行的目錄。新建test.py文件，代碼如下：

import os 
print("os.path.dirname(__file__):"+os.path.dirname(__file__)) 
print("os.getcwd():"+os.getcwd()) 

首先定位到計算機(jī)根目錄/,執(zhí)行如下命令:python /home/fengzheng/vimPython/BaiduMusicSpider-master/test.py，輸出結(jié)果：

os.path.dirname(__file__):/home/fengzheng/vimPython/BaiduMusicSpider-master 
os.getcwd(): 

 定位到/home/fengzheng/vimPython/,執(zhí)行如下命令:python BaiduMusicSpider-master/test.py，輸出結(jié)果：

os.path.dirname(__file__):BaiduMusicSpider-master 
os.getcwd():/home/fengzheng/vimPython 

這樣說吧，拋開執(zhí)行上的參數(shù)值，在windows下把命令理解為單擊鼠標(biāo)直接運(yùn)行的操作，os.path.dirname(__file__)就是所執(zhí)行的腳本文件對于當(dāng)前所處的目錄的相對路徑，而os.getcwd()就是當(dāng)前執(zhí)行這個腳本所在的路徑，即在哪個位置執(zhí)行就是那個位置的路徑。

2.有一些路徑字符串中用的是”\”，正確的寫法應(yīng)該是”/”,因為當(dāng)時是在windows上寫的，沒太注意。

github下載地址如下：下載地址

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論