python 爬蟲基本使用——統(tǒng)計(jì)杭電oj題目正確率并排序
python爬蟲主要用兩個(gè)庫(kù):Urllib和BeautifulSoup4。一個(gè)用來(lái)爬取網(wǎng)頁(yè),一個(gè)用來(lái)解析網(wǎng)頁(yè)。
Urllib是Python內(nèi)置的HTTP請(qǐng)求庫(kù),它包含四個(gè)模塊:
1、request,最基本的 HTTP 請(qǐng)求模塊,用來(lái)模擬發(fā)送請(qǐng)求,就像在瀏覽器里輸入網(wǎng)址然后敲擊回車一樣,只需要給庫(kù)方法傳入 URL 與額外的參數(shù),就可以模擬這個(gè)過程。
2、error ,異常處理模塊,如果出現(xiàn)請(qǐng)求錯(cuò)誤,我們可以捕獲這些異常,然后進(jìn)行重試或其他操作保證程序不會(huì)意外終止。
3、parse ,工具模塊,提供了許多 URL 處理方法,比如拆分、解析、合并等。
4、robotparser,主要用于識(shí)別網(wǎng)站的 robots.txt 文件,判斷網(wǎng)站是否可以爬取,用的較少。
這里只用到了最常用的request。
BeautifulSoup4從bs4包中導(dǎo)出,這里主要用的就是它的解析功能。
代碼如下,注釋寫得很清楚了:
#杭電OJ題目AC率排序 import urllib.request as ur from bs4 import BeautifulSoup dic = {} #存:"題號(hào):題名 AC 提交次數(shù) 正確率" for t in range(1,59,1):#1~58頁(yè)都爬一遍 print(t) url = 'http://acm.hdu.edu.cn/listproblem.php?vol='+str(t) #存網(wǎng)址 bs = BeautifulSoup(ur.urlopen(url).read(),"html.parser")#獲取網(wǎng)址的html并轉(zhuǎn)換為可以python可以使用的結(jié)構(gòu) ql0 = str(bs.body.table.contents[11].td.table.contents[1])#網(wǎng)頁(yè)的DOM解析后可以直接通過"."來(lái)尋找子元素,找到題目的列表元素后,將列表中所有題目轉(zhuǎn)換成字符串。(可以輸出看看) ql = ql0[30:-10].split(";") #字符串中的題目以";"分隔,將它們分開,并存到列表中 for i in ql: #以下就是格式化處理每個(gè)題目,然后存到字典中 info1 = i.split(',"',1) num = info1[0].split(',')[1] info2 = info1[1].split('",',1) name = info2[0] right,submit = info2[1].split(',',1) submit = submit[:-1] dic[num] = [name,int(right),int(submit),int(right)/int(submit)] dic = sorted(dic.items(),key = lambda x: x[1][3]) #每頁(yè)題目都存入字典后,把字典中的題目通過正確率進(jìn)行排序,傳出列表 with open('Statistics.txt','w',encoding = 'utf-8') as f:#把統(tǒng)計(jì)排序好的題目保存到txt中 for i in dic: f.write(str(i)+'\n') print("Success!")
以上就是python 爬蟲基本使用——統(tǒng)計(jì)杭電oj題目正確率并排序的詳細(xì)內(nèi)容,更多關(guān)于python 爬蟲的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- Python 統(tǒng)計(jì)數(shù)據(jù)集標(biāo)簽的類別及數(shù)目操作
- Python統(tǒng)計(jì)可散列的對(duì)象之容器Counter詳解
- Python 統(tǒng)計(jì)列表中重復(fù)元素的個(gè)數(shù)并返回其索引值的實(shí)現(xiàn)方法
- Python實(shí)戰(zhàn)之單詞打卡統(tǒng)計(jì)
- python之cur.fetchall與cur.fetchone提取數(shù)據(jù)并統(tǒng)計(jì)處理操作
- python自動(dòng)統(tǒng)計(jì)zabbix系統(tǒng)監(jiān)控覆蓋率的示例代碼
- python 統(tǒng)計(jì)代碼耗時(shí)的幾種方法分享
- Python統(tǒng)計(jì)列表元素出現(xiàn)次數(shù)的方法示例
- python統(tǒng)計(jì)RGB圖片某像素的個(gè)數(shù)案例
- Python jieba 中文分詞與詞頻統(tǒng)計(jì)的操作
- 利用Python3實(shí)現(xiàn)統(tǒng)計(jì)大量單詞中各字母出現(xiàn)的次數(shù)和頻率的方法
- 使用Python 統(tǒng)計(jì)文件夾內(nèi)所有pdf頁(yè)數(shù)的小工具
- python 統(tǒng)計(jì)list中各個(gè)元素出現(xiàn)的次數(shù)的幾種方法
- python調(diào)用百度AI接口實(shí)現(xiàn)人流量統(tǒng)計(jì)
- Python代碼覆蓋率統(tǒng)計(jì)工具coverage.py用法詳解
- 利用python匯總統(tǒng)計(jì)多張Excel
- python統(tǒng)計(jì)mysql數(shù)據(jù)量變化并調(diào)用接口告警的示例代碼
- 用python實(shí)現(xiàn)監(jiān)控視頻人數(shù)統(tǒng)計(jì)
相關(guān)文章
一文搞懂Python中pandas透視表pivot_table功能
透視表是一種可以對(duì)數(shù)據(jù)動(dòng)態(tài)排布并且分類匯總的表格格式?;蛟S大多數(shù)人都在Excel使用過數(shù)據(jù)透視表,也體會(huì)到它的強(qiáng)大功能,而在pandas中它被稱作pivot_table,今天通過本文給大家介紹Python中pandas透視表pivot_table功能,感興趣的朋友一起看看吧2021-11-11Scrapy爬蟲框架集成selenium及全面詳細(xì)講解
這篇文章主要為大家介紹了Scrapy集成selenium,以及scarpy爬蟲框架全面講解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步早日升職加薪2022-04-04python使用PIL把透明背景圖片轉(zhuǎn)成白色背景的示例代碼
當(dāng)我們?cè)诓杉恍﹫D片的時(shí)候,這些圖片的背景經(jīng)常是透明的,但是如何把透明背景轉(zhuǎn)成白色背景呢,接下來(lái)就給大家解決這個(gè)問題,本文主要介紹了python使用PIL把透明背景圖片轉(zhuǎn)成白色背景,需要的朋友可以參考下2023-08-08Python浮點(diǎn)數(shù)四舍五入問題的分析與解決方法
這篇文章主要給大家介紹了關(guān)于Python中浮點(diǎn)數(shù)四舍五入問題的分析與解決方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11淺談插入排序算法在Python程序中的實(shí)現(xiàn)及簡(jiǎn)單改進(jìn)
這篇文章主要介紹了插入排序算法在Python程序中的實(shí)現(xiàn)及簡(jiǎn)單改進(jìn),插入排序算法的最差時(shí)間復(fù)雜度為O(n^2),最優(yōu)時(shí)間復(fù)雜度為O(n),存在一定的優(yōu)化空間,需要的朋友可以參考下2016-05-05pytorch Dataset,DataLoader產(chǎn)生自定義的訓(xùn)練數(shù)據(jù)案例
這篇文章主要介紹了pytorch Dataset, DataLoader產(chǎn)生自定義的訓(xùn)練數(shù)據(jù)案例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2021-03-03pytorch中關(guān)于distributedsampler函數(shù)的使用
這篇文章主要介紹了pytorch中關(guān)于distributedsampler函數(shù)的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02