基于python爬取鏈家二手房信息代碼示例
更新時間：2020年10月21日 10:47:27 作者：六月流火
這篇文章主要介紹了基于python爬取鏈家二手房信息代碼示例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
基本環(huán)境配置
- python 3.6
- pycharm
- requests
- parsel
- time
相關(guān)模塊pip安裝即可
確定目標(biāo)網(wǎng)頁數(shù)據(jù)
哦豁，這個價格..................看到都覺得腦闊疼
通過開發(fā)者工具，可以直接找到網(wǎng)頁返回的數(shù)據(jù)~
每一個二手房的數(shù)據(jù)，都在網(wǎng)頁的 li 標(biāo)簽里面，咱們可以獲取網(wǎng)頁返回的數(shù)據(jù)，然后通過解析，就可以獲取到自己想要的數(shù)據(jù)了~
獲取網(wǎng)頁數(shù)據(jù)
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
解析網(wǎng)頁數(shù)據(jù)
import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
title = li.css('.title a::text').get()
dit['標(biāo)題'] = title
positionInfo = li.css('.positionInfo a::text').getall()
info = '-'.join(positionInfo)
dit['開發(fā)商'] = info
houseInfo = li.css('.houseInfo::text').get()
dit['房子信息'] = houseInfo
followInfo = li.css('.followInfo::text').get()
dit['發(fā)布周期'] = followInfo
Price = li.css('.totalPrice span::text').get()
dit['售價/萬'] = Price
unitPrice = li.css('.unitPrice span::text').get()
dit['單價'] = unitPrice
csv_writer.writerow(dit)
print(dit)
保存數(shù)據(jù)
import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標(biāo)題', '開發(fā)商', '房子信息', '發(fā)布周期', '售價/萬', '單價'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
詳解如何使用pandas進(jìn)行時間序列數(shù)據(jù)的周期轉(zhuǎn)換
時間序列數(shù)據(jù)是數(shù)據(jù)分析中經(jīng)常遇到的類型,為了更多的挖掘出數(shù)據(jù)內(nèi)部的信息,我們常常依據(jù)原始數(shù)據(jù)中的時間周期,將其轉(zhuǎn)換成不同跨度的周期,下面以模擬的K線數(shù)據(jù)為例,演示如何使用pandas來進(jìn)行周期轉(zhuǎn)換,感興趣的朋友可以參考下2024-05-05
python深度學(xué)習(xí)tensorflow卷積層示例教程
這篇文章主要為大家介紹了python深度學(xué)習(xí)tensorflow卷積層示例教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要為大家介紹了Python強大的語法，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助，希望能夠給你帶來幫助2021-11-11
Python實現(xiàn)的下載網(wǎng)頁源碼功能示例
這篇文章主要介紹了Python實現(xiàn)的下載網(wǎng)頁源碼功能,涉及Python基于http請求與響應(yīng)實現(xiàn)的網(wǎng)頁源碼讀取功能相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
這篇文章主要介紹了pandas庫中to_datetime()方法的使用解析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
這篇文章主要介紹了python 3.7.4 安裝 opencv的教程，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-10-10
音頻處理 windows10下python三方庫librosa安裝教程
這篇文章主要介紹了音頻處理 windows10下python三方庫librosa安裝方法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06
這篇文章主要介紹了Python面向?qū)ο缶幊讨惖睦^承，繼承Inheritance是指代碼復(fù)用的高級抽象，繼承是面向?qū)ο笤O(shè)計的精髓之一，實現(xiàn)了以類為單位的高級抽象級別代碼復(fù)用，下面進(jìn)入文章看該內(nèi)容的下詳情2021-11-11
這篇文章主要介紹了python對驗證碼降噪的實現(xiàn)示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
這篇文章主要介紹了Python3讀取文件常用方法,以實例形式較為詳細(xì)的分析了Python一次性讀取、逐行讀取及讀取文件一部分的實現(xiàn)技巧,需要的朋友可以參考下2015-05-05