python爬取鏈家二手房的數(shù)據(jù)
更新時(shí)間：2021年05月22日 08:41:04 作者：秋無(wú)之地
相信大家買房前都會(huì)在網(wǎng)上找找資料，看看行情，問(wèn)問(wèn)朋友，今天就用python帶大家扒一扒《鏈家二手房》的數(shù)據(jù)
一、查找數(shù)據(jù)所在位置：
打開(kāi)鏈家官網(wǎng)，進(jìn)入二手房頁(yè)面，選取某個(gè)城市，可以看到該城市房源總數(shù)以及房源列表數(shù)據(jù)。
二、確定數(shù)據(jù)存放位置：
某些網(wǎng)站的數(shù)據(jù)是存放在html中，而有些卻api接口，甚至有些加密在js中，還好鏈家的房源數(shù)據(jù)是存放到html中：
三、獲取html數(shù)據(jù)：
通過(guò)requests請(qǐng)求頁(yè)面，獲取每頁(yè)的html數(shù)據(jù)
# 爬取的url,默認(rèn)爬取的南京的鏈家房產(chǎn)信息
url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
# 請(qǐng)求url
resp = requests.get(url, headers=headers, timeout=10)
四、解析html，提取有用數(shù)據(jù)：
通過(guò)BeautifulSoup解析html，并提取相應(yīng)有用的數(shù)據(jù)
soup = BeautifulSoup(resp.content, 'lxml')
# 篩選全部的li標(biāo)簽
sellListContent = soup.select('.sellListContent li.LOGCLICKDATA')
# 循環(huán)遍歷
for sell in sellListContent:
# 標(biāo)題
title = sell.select('div.title a')[0].string
# 先抓取全部的div信息，再針對(duì)每一條進(jìn)行提取
houseInfo = list(sell.select('div.houseInfo')[0].stripped_strings)
# 樓盤名字
loupan = houseInfo[0]
# 對(duì)樓盤的信息進(jìn)行分割
info = houseInfo[0].split('|')
# 房子類型
house_type = info[1].strip()
# 面積大小
area = info[2].strip()
# 房間朝向
toward = info[3].strip()
# 裝修類型
renovation = info[4].strip()
# 房屋地址
positionInfo = ''.join(list(sell.select('div.positionInfo')[0].stripped_strings))
# 房屋總價(jià)
totalPrice = ''.join(list(sell.select('div.totalPrice')[0].stripped_strings))
# 房屋單價(jià)
unitPrice = list(sell.select('div.unitPrice')[0].stripped_strings)[0]
以上就是我的分享，如果有什么不足之處請(qǐng)指出，多交流，謝謝！
以上就是python爬取鏈家二手房的數(shù)據(jù)的詳細(xì)內(nèi)容，更多關(guān)于python爬取鏈家二手房的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
python入門之語(yǔ)句(if語(yǔ)句、while語(yǔ)句、for語(yǔ)句)
這篇文章主要介紹了python入門之語(yǔ)句,主要包括if語(yǔ)句、while語(yǔ)句、for語(yǔ)句的使用,需要的朋友可以參考下2015-01-01
這篇文章主要為大家介紹了python字符串相關(guān)str，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-01-01
玩轉(zhuǎn)python爬蟲(chóng)之正則表達(dá)式
這篇文章主要介紹了python爬蟲(chóng)的正則表達(dá)式，正則表達(dá)式在Python爬蟲(chóng)是必不可少的神兵利器，本文整理了Python中的正則表達(dá)式的相關(guān)內(nèi)容，感興趣的小伙伴們可以參考一下2016-02-02
Python 是一種多范式編程語(yǔ)言,具有靈活的特性,其中可調(diào)用實(shí)例、嵌套函數(shù)、描述符和裝飾器是其功能強(qiáng)大的特性之一,這些概念對(duì)于編寫高效、優(yōu)雅的代碼至關(guān)重要2024-01-01
淺談Python3多線程之間的執(zhí)行順序問(wèn)題
這篇文章主要介紹了淺談Python3多線程之間的執(zhí)行順序問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
Python使用for實(shí)現(xiàn)無(wú)限循環(huán)的多種方式匯總
這篇文章主要介紹了Python使用for實(shí)現(xiàn)無(wú)限循環(huán)的多種方式匯總，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
這篇文章將詳細(xì)講解圖像幾何變換，包括圖像平移、圖像縮放和圖像旋轉(zhuǎn)。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編學(xué)習(xí)一下2022-01-01
Selenium 安裝和簡(jiǎn)單使用的實(shí)現(xiàn)
這篇文章主要介紹了Selenium 安裝和簡(jiǎn)單使用的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
本文將介紹15個(gè)簡(jiǎn)潔的Python技巧，向著簡(jiǎn)潔更高效，學(xué)習(xí)易懂出發(fā)，具說(shuō)只有經(jīng)驗(yàn)豐富程序員才知道的9種高級(jí)Python小技巧，喜歡的朋友快來(lái)看看吧2021-11-11
在本篇文章里小編給大家整理的是一篇關(guān)于python中如何打包用戶自定義模塊的相關(guān)文章，有興趣的朋友們可以參考下。2020-09-09