欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法

 更新時間：2018年11月10日 15:15:59   作者：well2049  
今天小編就為大家分享一篇Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

上次學(xué)會了爬取圖片，這次就想著試試爬取商家的聯(lián)系電話，當(dāng)然，這里純屬個人技術(shù)學(xué)習(xí)，爬取過后及時刪除，不得用于其它違法用途，一切后果自負(fù)。

首先我學(xué)習(xí)時用的是114黃頁數(shù)據(jù)。

下面四個是用到的模塊，前面2個需要安裝一下，后面2個是python自帶的。

import requests
from bs4 import BeautifulSoup
import csv
import time

然后，寫個函數(shù)獲取到頁面種想要的數(shù)據(jù)，記得最后的return返回一下，因為下面的函數(shù)要到把數(shù)據(jù)寫到csv里面。

def get_content(url,data=None):
 header = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  'Accept-Encoding': 'gzip, deflate',
  'Accept-Language': 'zh-CN,zh;q=0.8',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
 }
 r = requests.get(url, headers=header)
 soup = BeautifulSoup(r.content, 'html.parser')
 data = soup.body.find('div',{'id':'news_con'})
 ul = data.find('ul')
 lis = ul.find_all('li')
 pthons=[]

 for item in lis:
  rows=[]
  name= item.find('h4').string
  rows.append(name)
  tel = item.find_all("div")[2].string
  rows.append(tel)
  pthons.append(rows)
  time.sleep(1)
 return pthons

接著：把數(shù)據(jù)寫到表格里面。我這里用到的是csv,方便閱覽。

def write_data(data,name):
 file_name=name
 with open(file_name, "w", newline='') as csvfile:
  writer = csv.writer(csvfile)
  writer.writerow(["商鋪名稱", "聯(lián)系電話"])
  writer.writerows(data)
  print('抓取完成')

最后就是執(zhí)行這些函數(shù)：

if __name__ == '__main__':
 url = 'http://ty.114chn.com/CustomerInfo/Customers?cid=008004008&page=2'
 mydata = get_content(url)
 write_data(mydata,'phone.csv')

在這里我想到應(yīng)該把url寫成動態(tài)的，因為這里面有頁數(shù)。讓page寫成循環(huán)自動+1，當(dāng)然，可以在網(wǎng)頁看到一共多少頁。寫個循環(huán)執(zhí)行。就更完美了。

Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)

以上這篇Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

  • 用Python實現(xiàn)插值算法

    用Python實現(xiàn)插值算法

    大家好，本篇文章主要講的是用Python實現(xiàn)插值算法，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下
    2022-02-02
  • Python基于PyGraphics包實現(xiàn)圖片截取功能的方法

    Python基于PyGraphics包實現(xiàn)圖片截取功能的方法

    這篇文章主要介紹了Python基于PyGraphics包實現(xiàn)圖片截取功能的方法,涉及PyGraphics包的安裝及基于PyGraphics包實現(xiàn)圖片的打開、讀取、截取等相關(guān)操作技巧,需要的朋友可以參考下
    2017-12-12
  • Python3如何使用tabulate打印數(shù)據(jù)

    Python3如何使用tabulate打印數(shù)據(jù)

    這篇文章主要介紹了Python3如何使用tabulate打印數(shù)據(jù),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-09-09
  • Python異常處理與反射相關(guān)問題總結(jié)

    Python異常處理與反射相關(guān)問題總結(jié)

    今天給大家?guī)淼氖顷P(guān)于Python的相關(guān)知識,文章圍繞著Python異常處理與反射展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下
    2021-06-06
  • Matlab讀取excel并利用拉依達(dá)準(zhǔn)則篩選數(shù)據(jù)的全過程

    Matlab讀取excel并利用拉依達(dá)準(zhǔn)則篩選數(shù)據(jù)的全過程

    在Excel中錄入好數(shù)據(jù)以后經(jīng)常需要被matlab讀取,具體該如何讀取并進行篩選呢？下面這篇文章就來給大家介紹了關(guān)于Matlab讀取excel并利用拉依達(dá)準(zhǔn)則篩選數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下
    2021-08-08
  • pygame實現(xiàn)俄羅斯方塊游戲

    pygame實現(xiàn)俄羅斯方塊游戲

    這篇文章主要為大家詳細(xì)介紹了pygame實現(xiàn)俄羅斯方塊游戲，代碼注釋詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-06-06
  • Python判斷操作系統(tǒng)類型代碼分享

    Python判斷操作系統(tǒng)類型代碼分享

    這篇文章主要介紹了Python判斷操作系統(tǒng)類型代碼分享,編寫一些跨平臺程序時經(jīng)常要用到,需要的朋友可以參考下
    2014-11-11
  • Python中Parser的超詳細(xì)用法實例

    Python中Parser的超詳細(xì)用法實例

    Parser模塊為Python的內(nèi)部解析器和字節(jié)碼編譯器提供了一個接口,該接口的主要目的是允許Python代碼編輯Python表達(dá)式的分析樹并從中創(chuàng)建可執(zhí)行代碼,這篇文章主要給大家介紹了關(guān)于Python中Parser超詳細(xì)用法的相關(guān)資料,需要的朋友可以參考下
    2022-07-07
  • python中的閉包和裝飾器的使用示例

    python中的閉包和裝飾器的使用示例

    閉包就是能夠讀取其他函數(shù)內(nèi)部變量的函數(shù)，例如在javascript中，只有函數(shù)內(nèi)部的子函數(shù)才能讀取局部變量，所以閉包可以理解成“定義在一個函數(shù)內(nèi)部的函數(shù)，這篇文章主要介紹了python中的閉包和裝飾器的使用,需要的朋友可以參考下
    2022-11-11
  • python一招完美搞定Chromedriver的自動更新問題

    python一招完美搞定Chromedriver的自動更新問題

    這篇文章主要介紹了python一招完美搞定Chromedriver的自動更新,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2022-09-09

最新評論