快捷導(dǎo)航

python爬取安居客二手房網(wǎng)站數(shù)據(jù)(實(shí)例講解)

更新時(shí)間：2017年10月19日 08:44:52 作者：反義

下面小編就為大家?guī)?lái)一篇python爬取安居客二手房網(wǎng)站數(shù)據(jù)(實(shí)例講解)。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

是小打小鬧

哈哈，現(xiàn)在開(kāi)始正式進(jìn)行爬蟲(chóng)書(shū)寫(xiě)首先，需要分析一下要爬取的網(wǎng)站的結(jié)構(gòu)：作為一名河南的學(xué)生，那就看看鄭州的二手房信息吧！

在上面這個(gè)頁(yè)面中，我們可以看到一條條的房源信息，從中我們發(fā)現(xiàn)了什么，發(fā)現(xiàn)了連鄭州的二手房都是這么的貴，作為即將畢業(yè)的學(xué)生狗惹不起啊惹不起

還是正文吧！??！由上可以看到網(wǎng)頁(yè)一條條的房源信息，點(diǎn)擊進(jìn)去后就會(huì)發(fā)現(xiàn)：

房源的詳細(xì)信息。OK！那么我們要干嘛呢，就是把鄭州這個(gè)地區(qū)的二手房房源信息都能拿到手，可以保存到數(shù)據(jù)庫(kù)中，用來(lái)干嘛呢，作為一個(gè)地理人，還是有點(diǎn)用處的，這次就不說(shuō)了好，正式開(kāi)始，首先我采用python3.6 中的requests，BeautifulSoup模塊來(lái)進(jìn)行爬取頁(yè)面，首先由requests模塊進(jìn)行請(qǐng)求：

# 網(wǎng)頁(yè)的請(qǐng)求頭
header = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}
# url鏈接
url = 'https://zhengzhou.anjuke.com/sale/'
response = requests.get(url, headers=header)
print(response.text)

執(zhí)行后就會(huì)得到這個(gè)網(wǎng)站的html代碼了

通過(guò)分析可以得到每個(gè)房源都在class="list-item"的 li 標(biāo)簽中，那么我們就可以根據(jù)BeautifulSoup包進(jìn)行提取

# 通過(guò)BeautifulSoup進(jìn)行解析出每個(gè)房源詳細(xì)列表并進(jìn)行打印
soup = BeautifulSoup(response.text, 'html.parser')
result_li = soup.find_all('li', {'class': 'list-item'})
for i in result_li:
  print(i)

通過(guò)打印就能進(jìn)一步減少了code量，好，繼續(xù)提取

# 通過(guò)BeautifulSoup進(jìn)行解析出每個(gè)房源詳細(xì)列表并進(jìn)行打印
soup = BeautifulSoup(response.text, 'html.parser')
result_li = soup.find_all('li', {'class': 'list-item'})
# 進(jìn)行循環(huán)遍歷其中的房源詳細(xì)列表
for i in result_li:
  # 由于BeautifulSoup傳入的必須為字符串，所以進(jìn)行轉(zhuǎn)換
  page_url = str(i)
  soup = BeautifulSoup(page_url, 'html.parser')
  # 由于通過(guò)class解析的為一個(gè)列表，所以只需要第一個(gè)參數(shù)
  result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
  print(result_href.attrs['href'])

這樣，我們就能看到一個(gè)個(gè)的url了，是不是很喜歡

好了，按正常的邏輯就要進(jìn)入頁(yè)面開(kāi)始分析詳細(xì)頁(yè)面了，但是爬取完后如何進(jìn)行下一頁(yè)的爬取呢所以，我們就需要先分析該頁(yè)面是否有下一頁(yè)

同樣的方法就可以發(fā)現(xiàn)下一頁(yè)同樣是如此的簡(jiǎn)單，那么咱們就可以還是按原來(lái)的配方原來(lái)的味道繼續(xù)

# 進(jìn)行下一頁(yè)的爬取
result_next_page = soup.find_all('a', {'class': 'aNxt'})
if len(result_next_page) != 0:
  print(result_next_page[0].attrs['href'])
else:
  print('沒(méi)有下一頁(yè)了')

因?yàn)楫?dāng)存在下一頁(yè)的時(shí)候，網(wǎng)頁(yè)中就是一個(gè)a標(biāo)簽，如果沒(méi)有的話，就會(huì)成為i標(biāo)簽了，所以這樣的就行，因此，我們就能完善一下，將以上這些封裝為一個(gè)函數(shù)

import requests
from bs4 import BeautifulSoup

# 網(wǎng)頁(yè)的請(qǐng)求頭
header = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}

def get_page(url):
  response = requests.get(url, headers=header)

  # 通過(guò)BeautifulSoup進(jìn)行解析出每個(gè)房源詳細(xì)列表并進(jìn)行打印
  soup = BeautifulSoup(response.text, 'html.parser')
  result_li = soup.find_all('li', {'class': 'list-item'})

  # 進(jìn)行下一頁(yè)的爬取
  result_next_page = soup.find_all('a', {'class': 'aNxt'})
  if len(result_next_page) != 0:
    # 函數(shù)進(jìn)行遞歸
    get_page(result_next_page[0].attrs['href'])
  else:
    print('沒(méi)有下一頁(yè)了')

  # 進(jìn)行循環(huán)遍歷其中的房源詳細(xì)列表
  for i in result_li:
    # 由于BeautifulSoup傳入的必須為字符串，所以進(jìn)行轉(zhuǎn)換
    page_url = str(i)
    soup = BeautifulSoup(page_url, 'html.parser')
    # 由于通過(guò)class解析的為一個(gè)列表，所以只需要第一個(gè)參數(shù)
    result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
    # 先不做分析，等一會(huì)進(jìn)行詳細(xì)頁(yè)面函數(shù)完成后進(jìn)行調(diào)用
    print(result_href.attrs['href'])


if __name__ == '__main__':
  # url鏈接
  url = 'https://zhengzhou.anjuke.com/sale/'
  # 頁(yè)面爬取函數(shù)調(diào)用
  get_page(url)

好了，那么咱們就開(kāi)始詳細(xì)頁(yè)面的爬取了

哎，怎么動(dòng)不動(dòng)就要斷電了，大學(xué)的坑啊，先把結(jié)果附上，閑了在補(bǔ)充，

import requests
from bs4 import BeautifulSoup

# 網(wǎng)頁(yè)的請(qǐng)求頭
header = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}

def get_page(url):
  response = requests.get(url, headers=header)

  # 通過(guò)BeautifulSoup進(jìn)行解析出每個(gè)房源詳細(xì)列表并進(jìn)行打印
  soup_idex = BeautifulSoup(response.text, 'html.parser')
  result_li = soup_idex.find_all('li', {'class': 'list-item'})

  # 進(jìn)行循環(huán)遍歷其中的房源詳細(xì)列表
  for i in result_li:
    # 由于BeautifulSoup傳入的必須為字符串，所以進(jìn)行轉(zhuǎn)換
    page_url = str(i)
    soup = BeautifulSoup(page_url, 'html.parser')
    # 由于通過(guò)class解析的為一個(gè)列表，所以只需要第一個(gè)參數(shù)
    result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
    # 詳細(xì)頁(yè)面的函數(shù)調(diào)用
    get_page_detail(result_href.attrs['href'])


  # 進(jìn)行下一頁(yè)的爬取
  result_next_page = soup_idex.find_all('a', {'class': 'aNxt'})
  if len(result_next_page) != 0:
    # 函數(shù)進(jìn)行遞歸
    get_page(result_next_page[0].attrs['href'])
  else:
    print('沒(méi)有下一頁(yè)了')

# 進(jìn)行字符串中空格，換行，tab鍵的替換及刪除字符串兩邊的空格刪除
def my_strip(s):
  return str(s).replace(" ", "").replace("\n", "").replace("\t", "").strip()
# 由于頻繁進(jìn)行BeautifulSoup的使用，封裝一下，很雞肋
def my_Beautifulsoup(response):
  return BeautifulSoup(str(response), 'html.parser')



# 詳細(xì)頁(yè)面的爬取
def get_page_detail(url):
  response = requests.get(url, headers=header)
  if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')
    # 標(biāo)題什么的一大堆，哈哈
    result_title = soup.find_all('h3', {'class': 'long-title'})[0]
    result_price = soup.find_all('span', {'class': 'light info-tag'})[0]
    result_house_1 = soup.find_all('div', {'class': 'first-col detail-col'})
    result_house_2 = soup.find_all('div', {'class': 'second-col detail-col'})
    result_house_3 = soup.find_all('div', {'class': 'third-col detail-col'})
    soup_1 = my_Beautifulsoup(result_house_1)
    soup_2 = my_Beautifulsoup(result_house_2)
    soup_3 = my_Beautifulsoup(result_house_3)
    result_house_tar_1 = soup_1.find_all('dd')
    result_house_tar_2 = soup_2.find_all('dd')
    result_house_tar_3 = soup_3.find_all('dd')
    '''
    文博公寓，省實(shí)驗(yàn)中學(xué)，首付只需70萬(wàn)，大三房，誠(chéng)心賣(mài)，價(jià)可談 270萬(wàn)
    宇泰文博公寓 金水－花園路－文博東路4號(hào) 2010年 普通住宅
    3室2廳2衛(wèi) 140平方米 南北 中層(共32層)
    精裝修 19285元/m² 81.00萬(wàn)
    '''
    print(my_strip(result_title.text), my_strip(result_price.text))
    print(my_strip(result_house_tar_1[0].text),
       my_strip(my_Beautifulsoup(result_house_tar_1[1]).find_all('p')[0].text),
       my_strip(result_house_tar_1[2].text), my_strip(result_house_tar_1[3].text))
    print(my_strip(result_house_tar_2[0].text), my_strip(result_house_tar_2[1].text),
       my_strip(result_house_tar_2[2].text), my_strip(result_house_tar_2[3].text))
    print(my_strip(result_house_tar_3[0].text), my_strip(result_house_tar_3[1].text),
       my_strip(result_house_tar_3[2].text))

if __name__ == '__main__':
  # url鏈接
  url = 'https://zhengzhou.anjuke.com/sale/'
  # 頁(yè)面爬取函數(shù)調(diào)用
  get_page(url)

由于自己邊寫(xiě)博客，邊寫(xiě)的代碼，所以get_page函數(shù)中進(jìn)行了一些改變，就是下一頁(yè)的遞歸調(diào)用需要放在函數(shù)后面，以及進(jìn)行封裝了兩個(gè)函數(shù)沒(méi)有介紹，

而且數(shù)據(jù)存儲(chǔ)到mysql也沒(méi)有寫(xiě)，所以后期會(huì)繼續(xù)跟進(jìn)的，thank you!!!

以上這篇python爬取安居客二手房網(wǎng)站數(shù)據(jù)(實(shí)例講解)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: