使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url示例
更新時(shí)間：2014年01月19日 15:37:07 作者：
這篇文章主要介紹了使用BeautifulSoup編寫了一段爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url的示例，大家參考使用吧
熟悉Java的jsoup包的話，對(duì)于Python的BeautifulSoup庫(kù)應(yīng)該很容易上手。
復(fù)制代碼 代碼如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----標(biāo)題----\n" + a_click.renderContents()#標(biāo)題
print "----鏈接----\n" + str(a_click.get("href"))#鏈接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相關(guān)文章
今天小編就為大家分享一篇Python 利用切片從列表中取出一部分使用的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
在python列表操作中除了排序、刪除、添加、去重外,合并也是經(jīng)常需求的操作,下面這篇文章主要給大家介紹了關(guān)于Python中合并列表的5種方法,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02
Python基礎(chǔ)之python循環(huán)控制語(yǔ)句break/continue詳解
Python中提供了兩個(gè)關(guān)鍵字用來(lái)控制循環(huán)語(yǔ)句,分別是break和continue，接下來(lái)通過(guò)兩個(gè)案例來(lái)區(qū)分這兩個(gè)控制語(yǔ)句的不同，感興趣的朋友一起看看吧2021-09-09
type()是一個(gè)內(nèi)置函數(shù)，可以很方便地查詢對(duì)象數(shù)據(jù)類型；主要有兩種用法：一個(gè)參數(shù)和三個(gè)參數(shù)，這篇文章主要介紹了Python中的?type()函數(shù),需要的朋友可以參考下2022-08-08
今天小編就為大家分享一篇python django中8000端口被占用的解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
python利用微信公眾號(hào)實(shí)現(xiàn)報(bào)警功能
微信公眾號(hào)共有三種，服務(wù)號(hào)、訂閱號(hào)、企業(yè)號(hào)。它們?cè)讷@取AccessToken上各有不同。接下來(lái)通過(guò)本文給大家介紹python利用微信公眾號(hào)實(shí)現(xiàn)報(bào)警功能，感興趣的朋友一起看看吧2018-06-06
這篇文章主要介紹了python爬蟲請(qǐng)求頭的使用,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
Python 2強(qiáng)大的一個(gè)地方是它身后巨大的第三方庫(kù)，恩，可以做任何事。Python 3沒有這個(gè)。是的，很多庫(kù)已經(jīng)移植了，但是仍然有數(shù)以十倍的庫(kù)沒有移植過(guò)去，而且也不太容易2014-11-11
今天小編就為大家分享一篇python遍歷文件夾找出文件夾后綴為py的文件方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
這篇文章主要為大家介紹了Python順序結(jié)構(gòu)語(yǔ)句，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-01-01