Python使用bs4獲取58同城城市分類的方法
本文實(shí)例講述了Python使用bs4獲取58同城城市分類的方法。分享給大家供大家參考。具體如下:
# -*- coding:utf-8 -*- #! /usr/bin/python import urllib import os, datetime, sys from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding( "utf-8" ) __BASEURL__ = "http://bj.58.com/" __INITURL__ = "http://bj.58.com/hezu/" soup=BeautifulSoup(urllib.urlopen(__INITURL__)) lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True) f=open('data.txt', 'w') for element in lv1Elements[1:]: f.write((element.get_text() + '\r\n')) print element.get_text() url = __BASEURL__ + element.get('href') print url soup=BeautifulSoup(urllib.urlopen(url)) lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a') texts = [t.get_text() for t in lv2Elements] f.write(' '.join(texts) + '\r\n\r\n') f.close()
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
Pandas實(shí)現(xiàn)dataframe和np.array的相互轉(zhuǎn)換
今天小編就為大家分享一篇Pandas實(shí)現(xiàn)dataframe和np.array的相互轉(zhuǎn)換,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11使用Python實(shí)現(xiàn)控制攝像頭的方法詳解
當(dāng)今,隨著計(jì)算機(jī)技術(shù)的發(fā)展,攝像頭已經(jīng)成為了人們生活中不可或缺的一部分。而Python作為一種流行的編程語(yǔ)言,也可以輕松地控制和操作攝像頭。本文將介紹如何使用Python中的常用庫(kù)(例如OpenCV和Tkinter)來(lái)控制和操作攝像頭,需要的可以參考一下2023-03-03Python利用lxml庫(kù)實(shí)現(xiàn)XML高級(jí)處理詳解
在Python的世界中,lxml是處理XML和HTML的一款強(qiáng)大且易用的庫(kù),本文主要介紹了如何解析、創(chuàng)建、修改XML文檔,如何使用XPath查詢,以及如何解析大型XML文檔,需要的可以參考下2023-08-08python OpenCV實(shí)現(xiàn)答題卡識(shí)別判卷
這篇文章主要為大家詳細(xì)介紹了python OpenCV實(shí)現(xiàn)答題卡識(shí)別判卷,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-06-06Python基于smtplib實(shí)現(xiàn)異步發(fā)送郵件服務(wù)
這篇文章主要介紹了Python基于smtplib實(shí)現(xiàn)異步發(fā)送郵件服務(wù),需要的朋友可以參考下2015-05-05Python制作簡(jiǎn)易版小工具之計(jì)算天數(shù)的實(shí)現(xiàn)思路
這篇文章主要介紹了Python制作簡(jiǎn)易版小工具之計(jì)算天數(shù)的實(shí)現(xiàn)思路,代碼簡(jiǎn)單易懂,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02