python利用beautifulSoup實(shí)現(xiàn)爬蟲
以前講過利用phantomjs做爬蟲抓網(wǎng)頁 http://www.dbjr.com.cn/article/55789.htm 是配合選擇器做的
利用 beautifulSoup(文檔 :http://www.crummy.com/software/BeautifulSoup/bs4/doc/)這個(gè)python模塊,可以很輕松的抓取網(wǎng)頁內(nèi)容
# coding=utf-8 import urllib from bs4 import BeautifulSoup url ='http://www.baidu.com/s' values ={'wd':'網(wǎng)球'} encoded_param = urllib.urlencode(values) full_url = url +'?'+ encoded_param response = urllib.urlopen(full_url) soup =BeautifulSoup(response) alinks = soup.find_all('a')
上面可以抓取百度搜出來結(jié)果是網(wǎng)球的記錄。
beautifulSoup內(nèi)置了很多非常有用的方法。
幾個(gè)比較好用的特性:
構(gòu)造一個(gè)node元素
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
type(tag)
# <class 'bs4.element.Tag'>
屬性可以使用attr拿到,結(jié)果是字典
tag.attrs
# {u'class': u'boldest'}
或者直接tag.class取屬性也可。
也可以自由操作屬性
tag['class'] = 'verybold' tag['id'] = 1 tag # <blockquote class="verybold" id="1">Extremely bold</blockquote> del tag['class'] del tag['id'] tag # <blockquote>Extremely bold</blockquote> tag['class'] # KeyError: 'class' print(tag.get('class')) # None
還可以隨便操作,查找dom元素,比如下面的例子
1.構(gòu)建一份文檔
html_doc = """ <html><head><title>The Dormouse's story</title></head> <p><b>The Dormouse's story</b></p> <p>Once upon a time there were three little sisters; and their names were <a id="link1">Elsie</a>, <a id="link2">Lacie</a> and <a id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p>...</p> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc)
2.各種搞
soup.head # <head><title>The Dormouse's story</title></head> soup.title # <title>The Dormouse's story</title> soup.body.b # <b>The Dormouse's story</b> soup.a # <a class="sister" id="link1">Elsie</a> soup.find_all('a') # [<a class="sister" id="link1">Elsie</a>, # <a class="sister" id="link2">Lacie</a>, # <a class="sister" id="link3">Tillie</a>] head_tag = soup.head head_tag # <head><title>The Dormouse's story</title></head> head_tag.contents [<title>The Dormouse's story</title>] title_tag = head_tag.contents[0] title_tag # <title>The Dormouse's story</title> title_tag.contents # [u'The Dormouse's story'] len(soup.contents) # 1 soup.contents[0].name # u'html' text = title_tag.contents[0] text.contents for child in title_tag.children: print(child) head_tag.contents # [<title>The Dormouse's story</title>] for child in head_tag.descendants: print(child) # <title>The Dormouse's story</title> # The Dormouse's story len(list(soup.children)) # 1 len(list(soup.descendants)) # 25 title_tag.string # u'The Dormouse's story'
相關(guān)文章
淺談對(duì)python中if、elif、else的誤解
這篇文章主要介紹了淺談對(duì)python中if、elif、else的誤解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08利用Python計(jì)算質(zhì)數(shù)與完全數(shù)的方法實(shí)例
這篇文章主要介紹了利用Python計(jì)算質(zhì)數(shù)與完全數(shù)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03Python利用memory_profiler實(shí)現(xiàn)內(nèi)存分析
memory_profiler是第三方模塊,用于監(jiān)視進(jìn)程的內(nèi)存消耗以及python程序內(nèi)存消耗的逐行分析。本文將利用memory_profiler實(shí)現(xiàn)內(nèi)存分析,需要的可以參考一下2022-10-10Python根據(jù)成績(jī)分析系統(tǒng)淺析
在本篇文章里小編給大家分享了關(guān)于Python根據(jù)成績(jī)分析是否繼續(xù)深造一個(gè)系統(tǒng)的相關(guān)知識(shí)點(diǎn),有需要的朋友們學(xué)習(xí)下。2019-02-02Python 面向?qū)ο箪o態(tài)方法、類方法、屬性方法知識(shí)點(diǎn)小結(jié)
這篇文章主要介紹了Python 面向?qū)ο箪o態(tài)方法、類方法、屬性方法,總結(jié)分析了Python 面向?qū)ο蟪绦蛟O(shè)計(jì)中靜態(tài)方法、類方法、屬性方法相關(guān)概念、知識(shí)點(diǎn)、操作技巧與使用注意事項(xiàng),需要的朋友可以參考下2020-03-03利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法
這篇文章主要介紹了利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02