Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能示例
本文實(shí)例講述了Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：
爬取的目標(biāo)網(wǎng)頁：http://www.qianlima.com/zb/area_305/
這是一個招投標(biāo)網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時間等三項(xiàng)內(nèi)容。
使用到的Python庫：BeautifulSoup、requests
代碼如下：
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#連接
content = r.text#獲取內(nèi)容，自動轉(zhuǎn)碼unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
print tag.get('href')
print tag.string
print tag.next_element.next_element.string
運(yùn)行結(jié)果如下
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
這篇文章主要介紹了pygame實(shí)現(xiàn)非圖片按鈕效果，不使用圖片制作，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-10-10
這篇文章主要介紹了Python VTK計(jì)算曲面的高斯曲率和平均曲率，如何使用戶Python版本的VTK計(jì)算曲面的高斯曲率并映射在曲面上。本例中使用了兩個不同的表面，每個表面根據(jù)其高斯曲率和平均曲率著色,需要的朋友可以參考一下2022-04-04
一篇文章教你用Python實(shí)現(xiàn)一個學(xué)生管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)學(xué)生管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
Python深度學(xué)習(xí)之使用Albumentations對圖像做增強(qiáng)
諸如RandomCrop和CenterCrop之類的某些增強(qiáng)功能可能會變換圖像,使其不包含所有原始邊界框. 本示例說明如何使用名為RandomSizedBBoxSafeCrop的變換來裁剪圖像的一部分,但保留原始圖像的所有邊界框,需要的朋友可以參考下2021-05-05
詳解Python中最常用的10個內(nèi)置函數(shù)
Python作為一種多用途編程語言,擁有豐富的內(nèi)置函數(shù)庫,這些函數(shù)可以極大地提高開發(fā)效率,本文將介紹Python中最常用的10個內(nèi)置函數(shù),我們將深入了解每個函數(shù),并提供示例代碼以幫助您更好地理解它們,需要的朋友可以參考下2023-11-11
本文主要介紹了numpy.reshape(-1,1)的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
python Pandas如何對數(shù)據(jù)集隨機(jī)抽樣
這篇文章主要介紹了python Pandas如何對數(shù)據(jù)集隨機(jī)抽樣，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
利用PyCharm操作Github(倉庫新建、更新，代碼回滾)
這篇文章主要介紹了利用PyCharm操作Github(倉庫新建、更新，代碼回滾),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
python調(diào)用ffmpeg命令行工具便捷操作視頻示例實(shí)現(xiàn)過程
現(xiàn)在短視頻很流行，有很多視頻編輯軟件，功能豐富，而我們需要的只是裁剪功能，而且需要用編程的方式調(diào)用，那么最合適的莫過于ffmpeg了2021-11-11
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡單顏色識別程序，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-02-02