Python使用bs4獲取58同城城市分類的方法
更新時間：2015年07月08日 12:05:50 作者：小剛1
這篇文章主要介紹了Python使用bs4獲取58同城城市分類的方法,涉及Python使用BeautifulSoup庫解析html頁面的技巧,需要的朋友可以參考下
本文實例講述了Python使用bs4獲取58同城城市分類的方法。分享給大家供大家參考。具體如下：
# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding( "utf-8" )
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
f.write((element.get_text() + '\r\n'))
print element.get_text()
url = __BASEURL__ + element.get('href')
print url
soup=BeautifulSoup(urllib.urlopen(url))
lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
texts = [t.get_text() for t in lv2Elements]
f.write(' '.join(texts) + '\r\n\r\n')
f.close()
希望本文所述對大家的Python程序設(shè)計有所幫助。
相關(guān)文章
這篇文章主要介紹了python讀取xml文件方法解析，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
這篇文章主要介紹了Python之列表推導(dǎo)式最全匯總（上篇），本文章內(nèi)容詳細，通過案例可以更好的理解列表推導(dǎo)式的相關(guān)知識，本模塊分為了三部分，本次為上篇，需要的朋友可以參考下2023-01-01
這篇文章主要介紹了python如何操作MySQL，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-08-08
Pandas實現(xiàn)dataframe和np.array的相互轉(zhuǎn)換
今天小編就為大家分享一篇Pandas實現(xiàn)dataframe和np.array的相互轉(zhuǎn)換，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
當(dāng)今，隨著計算機技術(shù)的發(fā)展，攝像頭已經(jīng)成為了人們生活中不可或缺的一部分。而Python作為一種流行的編程語言，也可以輕松地控制和操作攝像頭。本文將介紹如何使用Python中的常用庫（例如OpenCV和Tkinter）來控制和操作攝像頭，需要的可以參考一下2023-03-03
Python利用lxml庫實現(xiàn)XML高級處理詳解
在Python的世界中,lxml是處理XML和HTML的一款強大且易用的庫,本文主要介紹了如何解析、創(chuàng)建、修改XML文檔,如何使用XPath查詢,以及如何解析大型XML文檔,需要的可以參考下2023-08-08
這篇文章主要為大家詳細介紹了python OpenCV實現(xiàn)答題卡識別判卷，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
Python基于smtplib實現(xiàn)異步發(fā)送郵件服務(wù)
這篇文章主要介紹了Python基于smtplib實現(xiàn)異步發(fā)送郵件服務(wù),需要的朋友可以參考下2015-05-05
在本篇文章里小編給大家整理的是一篇關(guān)于python not關(guān)鍵字實例用法，有興趣的朋友們可以學(xué)習(xí)下。2021-04-04
Python制作簡易版小工具之計算天數(shù)的實現(xiàn)思路
這篇文章主要介紹了Python制作簡易版小工具之計算天數(shù)的實現(xiàn)思路,代碼簡單易懂，非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2020-02-02