python使用BeautifulSoup分析網(wǎng)頁信息的方法
本文實例講述了python使用BeautifulSoup分析網(wǎng)頁信息的方法。分享給大家供大家參考。具體如下：
這段python代碼查找網(wǎng)頁上的所有鏈接，分析所有的span標簽，并查找class包含titletext的span的內(nèi)容
import urllib2
#specify the url you want to query
url = "http://www.python.org"
#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)
#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup
#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)
#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title
#to print the length of the page, use the len function
print len(page)
#create a new variable to store the data you want to find.
tags = soup.findAll('a')
#to print all the links
print tags
#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
print title.contents
希望本文所述對大家的Python程序設計有所幫助。
相關文章
Pytorch:dtype不一致問題(expected dtype Double but&
這篇文章主要介紹了Pytorch:dtype不一致問題(expected dtype Double but got dtype Float)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
Python rabbitMQ如何實現(xiàn)生產(chǎn)消費者模式
這篇文章主要介紹了Python rabbitMQ如何實現(xiàn)生產(chǎn)消費者模式,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-08-08
這篇文章主要為大家詳細介紹了如何基于Python實現(xiàn)文件分類器，目的主要是為了將辦公過程中產(chǎn)生的各種格式的文件完成整理，感興趣的可以了解一下2023-04-04
這篇文章主要介紹了Python入門教程之if語句的用法,是Python入門的基礎知識,需要的朋友可以參考下2015-05-05
今天小編就為大家分享一篇關于python寫入文件自動換行的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
解決Jupyter notebook更換主題工具欄被隱藏及添加目錄生成插件問題
這篇文章主要介紹了解決Jupyter notebook更換主題工具欄被隱藏及添加目錄生成插件問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了python使用線程封裝的一個簡單定時器類,實例分析了Python線程的使用及定時器類的實現(xiàn)技巧,需要的朋友可以參考下2015-05-05
進行接口自動化時,有時候我們需要斷言的數(shù)據(jù)比較多,一個字段一個字段進行斷言比較麻煩,那么如何利用Python實現(xiàn)輕松判斷數(shù)據(jù)格式是否相同呢,下面小編就為大家詳細講講2023-09-09
Python使用matplotlib的pie函數(shù)繪制餅狀圖功能示例
這篇文章主要介紹了Python使用matplotlib的pie函數(shù)繪制餅狀圖功能,結合實例形式分析了Python使用matplotlib的pie函數(shù)進行餅狀圖繪制的具體操作技巧,注釋中對pie函數(shù)的用法進行了詳細的說明,便于理解,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了python如何刪除字符串最后一個字符，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05