python爬取分析超級(jí)大樂(lè)透歷史開(kāi)獎(jiǎng)數(shù)據(jù)第1/2頁(yè)
博主作為爬蟲(chóng)初學(xué)者,本次使用了requests和beautifulsoup庫(kù)進(jìn)行數(shù)據(jù)的爬取
爬取網(wǎng)站:http://datachart.500.com/dlt/history/history.shtml —500彩票網(wǎng)
(分析后發(fā)現(xiàn)網(wǎng)站源代碼并非是通過(guò)頁(yè)面跳轉(zhuǎn)來(lái)查找不同的數(shù)據(jù),故可通過(guò)F12查找network欄找到真正儲(chǔ)存所有歷史開(kāi)獎(jiǎng)結(jié)果的網(wǎng)頁(yè))
如圖:
爬蟲(chóng)部分:
from bs4 import BeautifulSoup #引用BeautifulSoup庫(kù) import requests #引用requests import os #os import pandas as pd import csv import codecs lst=[] url='http://datachart.500.com/dlt/history/newinc/history.php?start=07001&end=21018' r = requests.get(url) r.encoding='utf-8' text=r.text soup = BeautifulSoup(text, "html.parser") tbody=soup.find('tbody',id="tdata") tr=tbody.find_all('tr') td=tr[0].find_all('td') for page in range(0,14016): td=tr
相關(guān)文章
tensorflow2.10使用BERT實(shí)現(xiàn)Semantic Similarity過(guò)程解析
這篇文章主要為大家介紹了tensorflow2.10使用BERT實(shí)現(xiàn)Semantic Similarity過(guò)程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-04-04Python內(nèi)置函數(shù)之filter map reduce介紹
Python內(nèi)置了一些非常有趣、有用的函數(shù),如:filter、map、reduce,都是對(duì)一個(gè)集合進(jìn)行處理,filter很容易理解用于過(guò)濾,map用于映射,reduce用于歸并. 是Python列表方法的三架馬車(chē)2014-11-11python飛機(jī)大戰(zhàn)pygame游戲背景設(shè)計(jì)詳解
這篇文章主要介紹了python飛機(jī)大戰(zhàn)pygame游戲背景設(shè)計(jì),結(jié)合實(shí)例形式詳細(xì)分析了Python使用pygame模塊設(shè)計(jì)游戲背景相關(guān)原理、流程與實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-12-12僅用500行Python代碼實(shí)現(xiàn)一個(gè)英文解析器的教程
這篇文章主要介紹了僅用500行Python代碼實(shí)現(xiàn)一個(gè)英文解析器的教程,自然語(yǔ)言處理近來(lái)也是業(yè)界中一個(gè)熱門(mén)課題,作者為NLP方向的開(kāi)發(fā)者,需要的朋友可以參考下2015-04-04在PyCharm中控制臺(tái)輸出日志分層級(jí)分顏色顯示的方法
今天小編就為大家分享一篇在PyCharm中控制臺(tái)輸出日志分層級(jí)分顏色顯示的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07Python?數(shù)據(jù)分析教程探索性數(shù)據(jù)分析
這篇文章主要介紹了Python?數(shù)據(jù)分析教程探索性數(shù)據(jù)分析,文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-08-08Python中的函數(shù)參數(shù)(位置參數(shù)、默認(rèn)參數(shù)、可變參數(shù))
這篇文章主要介紹了Python中的函數(shù)參數(shù):位置參數(shù)、默認(rèn)參數(shù)、可變參數(shù)、關(guān)鍵字參數(shù)和命名關(guān)鍵字參數(shù),需要的小伙伴可以參考下面文章內(nèi)容2021-09-09