快捷導(dǎo)航

Python使用Beautiful Soup爬取豆瓣音樂排行榜過程解析

更新時間：2019年08月15日 12:00:33 作者：Summer哥

這篇文章主要介紹了Python使用Beautiful Soup爬取網(wǎng)頁過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

前言

要想學(xué)好爬蟲，必須把基礎(chǔ)打扎實，之前發(fā)布了兩篇文章，分別是使用XPATH和requests爬取網(wǎng)頁，今天的文章是學(xué)習(xí)Beautiful Soup并通過一個例子來實現(xiàn)如何使用Beautiful Soup爬取網(wǎng)頁。

什么是Beautiful Soup

Beautiful Soup是一款高效的Python網(wǎng)頁解析分析工具，可以用于解析HTL和XML文件并從中提取數(shù)據(jù)。
Beautiful Soup輸入文件的默認(rèn)編碼是Unicode，輸出文件的編碼是UTF-8。
Beautiful Soup具有將輸入文件自動補全的功能，如果輸入的HTML文件的title標(biāo)簽沒有閉合，則在輸出的文件中會自動補全</title>，并且還可以將格式混亂的輸入文件按照標(biāo)準(zhǔn)的縮進格式輸出。

Beautiful Soup要和其他的解析器搭配使用，例如Python標(biāo)準(zhǔn)庫中的HTML解析器和其他第三方的lxml解析器，由于lxml解析器速度快、容錯能力強，因此一般和Beautiful Soup搭配使用。

初始化Beautiful Soup對象的代碼：

html = 
'''
<html><title>Hello Beautiful Soup</title><p>Hello</p></html>
'''
soup = BeautifulSoup(html,'lxml')

只需把第二個參數(shù)寫成”lxml”即可使用lxml解析器初始化Beautiful Soup對象。

Beautiful Soup提供了三種選擇器用去爬取節(jié)點中的數(shù)據(jù)，分別是節(jié)點選擇器、方法選擇器和CSS選擇器。下面分別介紹著三個選擇器的用法。

節(jié)點選擇器：

HTML網(wǎng)頁有title、p、a、head、tr、td等節(jié)點。通過Beautiful Soup對象+”.”+節(jié)點即可直接訪問到節(jié)點。 Beautiful Soup對象+”.”+節(jié)點+”.”+string即可提取到節(jié)點的文本信息。

用法	描述
soup.title	選擇第一個title節(jié)點
soup.title.string	提取第一個title節(jié)點的文本信息
soup.title.attrs	獲取第一個title節(jié)點的所有屬性，返回的結(jié)果的詞典。如果有class屬性，則class屬性返回的是list，class屬性之間以空格當(dāng)做分隔符
soup.p.contents	獲取第一個p節(jié)點的所有直接子節(jié)點。該方法返回的是第一個p節(jié)點中包含的所有直接子字節(jié)點和文本，不包含孫節(jié)點，兩個節(jié)點之間的文本也當(dāng)做是一個節(jié)點返回。返回的結(jié)果是列表
soup.p.children	返回第一個p節(jié)點的所有直接子節(jié)點，返回的結(jié)果是list_iterator對象
soup.p.descendants	獲取第一個p節(jié)點的所有子孫節(jié)點
soup.a.parent	獲取第一個a節(jié)點的父節(jié)點
soup.a.parents	獲取第一個a節(jié)點的所有祖先節(jié)點
soup.p.next_siblings	獲取第一個p節(jié)點的下一個兄弟節(jié)點
soup.p.previous_siblings	獲取第一個p節(jié)點的上一個兄弟節(jié)點

方法選擇器：

根據(jù)傳入的參數(shù)查找符合條件的節(jié)點。下面是方法選擇器提供的方法：

方法	描述
find_all(name,attrs,recursive,text,**kwargs)	根據(jù)傳入?yún)?shù)查找所有符合條件的節(jié)點， name是節(jié)點名，attrs屬性值，text文本內(nèi)容等。 text參數(shù)可以是字符串，也可以是正則表達(dá)式: soup.find_all(text=re.compile(‘test'))
find(name,attrs,recursive,text,**kwargs)	返回第一個符合條件的節(jié)點
find_parents()	返回所有祖先節(jié)點
find_parent()	返回父節(jié)點
find_next_siblings()	往后查找，所有兄弟節(jié)點
find_next_sibling()	往后查找，返回第一個兄弟節(jié)點
find_previous_siblings()	往前查找，返回所有兄弟節(jié)點
find_previous_sibling()	往前查找，返回第一個兄弟節(jié)點

在使用上面的方法時，如果參數(shù)中有Python的關(guān)鍵字，則需要在參數(shù)下面加一個下劃線，例如下面的代碼，class是Python的關(guān)鍵字，必須在class后加下劃線class_=”title_class”：

from bs4 import BeautifulSoup
html = '''
<html>
  <body>
    <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
    <p>
      <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
      
    </p>
    <ul>
      <li class="animal">cat</li>
      <li class="animal">dog</li>
    </ul>
  </body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='title',class_='title_class'))

CSS選擇器：

BeautifulSoup還支持獲取css元素，例如ul、div、li等元素。CSS選擇器主要提供select()方法獲取符合條件的節(jié)點(Tag對象)，然后通過節(jié)點的get_text()方法和text屬性可以獲取該節(jié)點的文本值。

select方法還可以根據(jù)css的樣式規(guī)則選擇相應(yīng)的節(jié)點：

from bs4 import BeautifulSoup

html = '''
<html>
  <body>
    <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
    <p>
      <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
      
    </p>
    <ul class="animal" id="aninal_id">
      <li class="cat">cat</li>
      <li class="animal dog">dog</li>
    </ul>
    <ul class="fruit" id = "fruit_id">
      <li class="apple">apple</li>
      <li class="banana">banana</li>
    </ul>
  </body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print('獲取id為title_的所有節(jié)點')
print(soup.select('#title_id'))
print('獲取class為title_的所有節(jié)點')
print(soup.select('.title_class'))
print('獲取所有ul節(jié)點下面的所有l(wèi)i節(jié)點')
print(soup.select('ul li'))
print('獲取所有class為fruit節(jié)點下的所有l(wèi)i節(jié)點')
print(soup.select('.fruit li'))
print('獲取所有class為fruit節(jié)點下的第一個li節(jié)點的文本值')
print(soup.select('.fruit li')[0].string)
print('獲取所有class為fruit節(jié)點下的第一個li節(jié)點的文本值')
print(soup.select('.fruit li')[0].get_text())
print('獲取所有class為fruit節(jié)點下的第一個li節(jié)點的class屬性值，注意class屬性返回的是list列表，屬性之間用空格分隔')
print(soup.select('.fruit li')[0].attrs['class'])
print(soup.select('.animal li')[1].attrs['class'])
print('循環(huán)迭代所有ul下面的所有l(wèi)i節(jié)點的文本值')
for li in soup.select('ul li'):
  print(li.text)

下面使用Beautiful Soup爬取豆瓣音樂排行榜。在瀏覽器中打開豆瓣音樂排行榜，打開瀏覽器，輸入網(wǎng)址：https://music.douban.com/chart，我們要抓取的是每首歌曲的排名、歌曲名、演唱者、播放次數(shù)、上榜天數(shù)等數(shù)據(jù)。

下面分析怎么通過beautiful soup抓取到我們的數(shù)據(jù)。通過開發(fā)者工具，我們可以看到所有歌曲是在class為article的div中，然后每首個在class為clearfix的li中。

因此首先使用css選擇器獲取到class為article下面的所有l(wèi)i節(jié)點：

soup.select(".article li")

然后查看每首歌曲的html代碼：

紅色框部分是一首歌的html代碼。歌曲排名在class為“gree-num-box”的span節(jié)點中，因為span節(jié)點是<li class="clearfix">節(jié)點的子節(jié)點，獲取排名的代碼為：li.span.text

綠色框中A節(jié)點中是歌曲的鏈接和圖片鏈接，獲取歌曲鏈接的代碼為：li.a['href']

藍(lán)色框中是歌曲的名字、演唱者和播放次數(shù)，歌曲名是在class=”icon-play”的H3節(jié)點中，因此可以使用方法選擇器中的find()方法獲取到H3節(jié)點，然后獲取H3節(jié)點下面a節(jié)點中的文本信息就是歌曲的名字，代碼為：li.find(class_="icon-play").a.text

獲取演唱者和播放次數(shù)的代碼為： li.find(class_="intro").p.text.strip()

獲取上榜天數(shù)的代碼為：

li.find(class_="days").text.strip()

在豆瓣音樂排行榜的頁面一個現(xiàn)實20首歌曲，前面10首歌曲會有圖片，后面10首歌曲是沒有圖片的，因此后面10首歌曲將不獲取圖片的地址。

另外還有一點需要注意的是，后面10首歌曲的演唱者和播放次數(shù)是在class=”icon-play”的p節(jié)點中：

而該節(jié)點中有a節(jié)點，要想獲取a節(jié)點外的信息，必須使用節(jié)點選擇器的contents方法： li.find(class_="intro").p.contents[2].strip() contents返回的是p節(jié)點的直接子節(jié)點，以列表的形式返回，這里返回列表中有3個元素，分別是<p>后的字符串，a節(jié)點、演唱者/播次數(shù)。contents會將直接子節(jié)點之間的換行符也當(dāng)做一個元素。代碼整理后如下：

# coding:utf-8

from bs4 import BeautifulSoup
import requests
def parseHtml(url):
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

  response = requests.get(url,headers=headers)
  soup = BeautifulSoup(response.text,'lxml')
  #使用css選擇器獲取class="article"的節(jié)點下面的所有l(wèi)i節(jié)點
  for index,li in enumerate(soup.select(".article li")):
    if(index <10):
      print('歌曲排名：' + li.span.text)
      print('歌曲鏈接：' + li.a['href'])
      print('歌曲名：' + li.find(class_="icon-play").a.text)#使用方法選擇器
      print('演唱者/播放次數(shù)：' + li.find(class_="intro").p.text.strip())
      print('上榜時間：'+li.find(class_="days").text.strip())
    else:
      print('歌曲排名：' + li.span.text)
      print('歌曲名：' + li.find(class_="icon-play").a.text)
      print('演唱者/播放次數(shù)：' + li.find(class_="intro").p.contents[2].strip())#方法選擇器和節(jié)點選擇器搭配使用
      print('上榜時間：' + li.find(class_="days").text.strip())
    print('—————————————————強力分隔符———————————————————')

def main():
  url = "https://music.douban.com/chart"
  parseHtml(url)

if __name__ == '__main__':
  main()

本文通過爬取豆瓣音樂排行榜的小項目學(xué)習(xí)了如何使用Beautiful Soup的節(jié)點選擇器、方法選擇器、CSS選擇器來爬取一個網(wǎng)頁。這三個選擇器可以混合搭配使用。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: