快捷導(dǎo)航

python爬蟲(chóng)爬取網(wǎng)頁(yè)表格數(shù)據(jù)

更新時(shí)間：2018年03月07日 10:41:32 作者：zhuxunyuoyi

這篇文章主要為大家詳細(xì)介紹了python爬蟲(chóng)爬取網(wǎng)頁(yè)表格數(shù)據(jù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

用python爬取網(wǎng)頁(yè)表格數(shù)據(jù)，供大家參考，具體內(nèi)容如下

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#檢查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('無(wú)法鏈接服務(wù)器?。?！') 
 
 
#爬取資源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存資源 
def save_contents(urlist): 
 with open("D:/2016年中國(guó)企業(yè)500強(qiáng)排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中國(guó)企業(yè)500強(qiáng)排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python百行代碼自制電腦端網(wǎng)速懸浮窗的實(shí)現(xiàn)
這篇文章主要介紹了python百行代碼自制電腦端網(wǎng)速懸浮窗的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-05-05
pytorch如何定義新的自動(dòng)求導(dǎo)函數(shù)
這篇文章主要介紹了pytorch如何定義新的自動(dòng)求導(dǎo)函數(shù)問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
2022-12-12
使用python求斐波那契數(shù)列中第n個(gè)數(shù)的值示例代碼
這篇文章主要給大家介紹了關(guān)于使用python求斐波那契數(shù)列中第n個(gè)數(shù)的值的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-07-07
python 提取視頻中的音頻工具類(lèi)詳解
本文主要介紹了如何利用Python的ffmpy庫(kù)實(shí)現(xiàn)提取視頻中的音頻，從而幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-11-11
Python(wordcloud)如何根據(jù)文本數(shù)據(jù)(.txt文件)繪制詞云圖
這篇文章主要給大家介紹了關(guān)于Python(wordcloud)如何根據(jù)文本數(shù)據(jù)(.txt文件)繪制詞云圖的相關(guān)資料,詞云Wordcloud是文本數(shù)據(jù)的一種可視化表示方式,它通過(guò)設(shè)置不同的字體大小或顏色來(lái)表現(xiàn)每個(gè)術(shù)語(yǔ)的重要性,需要的朋友可以參考下
2024-05-05
Python實(shí)現(xiàn)隊(duì)列的方法示例小結(jié)【數(shù)組，鏈表】
這篇文章主要介紹了Python實(shí)現(xiàn)隊(duì)列的方法,結(jié)合實(shí)例形式分析了Python基于數(shù)組和鏈表實(shí)現(xiàn)隊(duì)列的相關(guān)操作技巧與相關(guān)注意事項(xiàng),需要的朋友可以參考下
2020-02-02
Python批量實(shí)現(xiàn)Word/EXCEL/PPT轉(zhuǎn)PDF
在日常辦公和文檔處理中,有時(shí)我們需要將多個(gè)Word文檔、Excel表格或PPT演示文稿轉(zhuǎn)換為PDF文件,本文將介紹如何使用Python編程語(yǔ)言批量實(shí)現(xiàn)將多個(gè)Word、Excel和PPT文件轉(zhuǎn)換為PDF文件,需要的可以參考下
2023-09-09
pycharm社區(qū)版安裝django并創(chuàng)建一個(gè)簡(jiǎn)單項(xiàng)目的全過(guò)程
社區(qū)版的pycharm跟專(zhuān)業(yè)版的pycharm應(yīng)用差別還是不太大,下面這篇文章主要給大家介紹了關(guān)于pycharm社區(qū)版安裝django并創(chuàng)建一個(gè)簡(jiǎn)單項(xiàng)目的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
2022-05-05
django使用xlwt導(dǎo)出excel文件實(shí)例代碼
這篇文章主要介紹了django使用xlwt導(dǎo)出excel文件實(shí)例代碼，分享了相關(guān)代碼示例，小編覺(jué)得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下
2018-02-02
Pycharm IDE的安裝和使用教程詳解
這篇文章主要介紹了Pycharm IDE的安裝和使用,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-04-04