使用BeautifulSoup爬蟲程序獲取百度搜索結果的標題和url示例
更新時間：2014年01月19日 15:37:07 作者：
這篇文章主要介紹了使用BeautifulSoup編寫了一段爬蟲程序獲取百度搜索結果的標題和url的示例，大家參考使用吧
熟悉Java的jsoup包的話，對于Python的BeautifulSoup庫應該很容易上手。
復制代碼 代碼如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----標題----\n" + a_click.renderContents()#標題
print "----鏈接----\n" + str(a_click.get("href"))#鏈接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相關文章
今天小編就為大家分享一篇Python 利用切片從列表中取出一部分使用的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
在python列表操作中除了排序、刪除、添加、去重外,合并也是經常需求的操作,下面這篇文章主要給大家介紹了關于Python中合并列表的5種方法,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2024-02-02
Python基礎之python循環(huán)控制語句break/continue詳解
Python中提供了兩個關鍵字用來控制循環(huán)語句,分別是break和continue，接下來通過兩個案例來區(qū)分這兩個控制語句的不同，感興趣的朋友一起看看吧2021-09-09
type()是一個內置函數，可以很方便地查詢對象數據類型；主要有兩種用法：一個參數和三個參數，這篇文章主要介紹了Python中的?type()函數,需要的朋友可以參考下2022-08-08
今天小編就為大家分享一篇python django中8000端口被占用的解決，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
微信公眾號共有三種，服務號、訂閱號、企業(yè)號。它們在獲取AccessToken上各有不同。接下來通過本文給大家介紹python利用微信公眾號實現報警功能，感興趣的朋友一起看看吧2018-06-06
這篇文章主要介紹了python爬蟲請求頭的使用,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
Python 2強大的一個地方是它身后巨大的第三方庫，恩，可以做任何事。Python 3沒有這個。是的，很多庫已經移植了，但是仍然有數以十倍的庫沒有移植過去，而且也不太容易2014-11-11
今天小編就為大家分享一篇python遍歷文件夾找出文件夾后綴為py的文件方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要為大家介紹了Python順序結構語句，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01