Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能示例
更新時間：2019年08月02日 11:33:08 作者：郭大俠寫leetcode
這篇文章主要介紹了Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能,結合實例形式分析了Python使用BeautifulSoup和requests庫爬取網(wǎng)站指定信息的相關操作技巧,需要的朋友可以參考下
本文實例講述了Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：
爬取的目標網(wǎng)頁：http://www.qianlima.com/zb/area_305/
這是一個招投標網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時間等三項內容。
使用到的Python庫：BeautifulSoup、requests
代碼如下：
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#連接
content = r.text#獲取內容，自動轉碼unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
print tag.get('href')
print tag.string
print tag.next_element.next_element.string
運行結果如下
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
這篇文章主要介紹了pygame實現(xiàn)非圖片按鈕效果，不使用圖片制作，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-10-10
這篇文章主要介紹了Python VTK計算曲面的高斯曲率和平均曲率，如何使用戶Python版本的VTK計算曲面的高斯曲率并映射在曲面上。本例中使用了兩個不同的表面，每個表面根據(jù)其高斯曲率和平均曲率著色,需要的朋友可以參考一下2022-04-04
一篇文章教你用Python實現(xiàn)一個學生管理系統(tǒng)
這篇文章主要為大家詳細介紹了python實現(xiàn)學生管理系統(tǒng)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
Python深度學習之使用Albumentations對圖像做增強
諸如RandomCrop和CenterCrop之類的某些增強功能可能會變換圖像,使其不包含所有原始邊界框. 本示例說明如何使用名為RandomSizedBBoxSafeCrop的變換來裁剪圖像的一部分,但保留原始圖像的所有邊界框,需要的朋友可以參考下2021-05-05
Python作為一種多用途編程語言,擁有豐富的內置函數(shù)庫,這些函數(shù)可以極大地提高開發(fā)效率,本文將介紹Python中最常用的10個內置函數(shù),我們將深入了解每個函數(shù),并提供示例代碼以幫助您更好地理解它們,需要的朋友可以參考下2023-11-11
本文主要介紹了numpy.reshape(-1,1)的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-07-07
python Pandas如何對數(shù)據(jù)集隨機抽樣
這篇文章主要介紹了python Pandas如何對數(shù)據(jù)集隨機抽樣，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
利用PyCharm操作Github(倉庫新建、更新，代碼回滾)
這篇文章主要介紹了利用PyCharm操作Github(倉庫新建、更新，代碼回滾),文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
python調用ffmpeg命令行工具便捷操作視頻示例實現(xiàn)過程
現(xiàn)在短視頻很流行，有很多視頻編輯軟件，功能豐富，而我們需要的只是裁剪功能，而且需要用編程的方式調用，那么最合適的莫過于ffmpeg了2021-11-11
這篇文章主要為大家詳細介紹了python實現(xiàn)簡單顏色識別程序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-02-02