Python基于requests庫(kù)爬取網(wǎng)站信息
更新時(shí)間：2020年03月02日 11:15:14 作者：江武555
這篇文章主要介紹了python基于requests庫(kù)爬取網(wǎng)站信息,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
requests庫(kù)是一個(gè)簡(jiǎn)介且簡(jiǎn)單的處理HTTP請(qǐng)求的第三方庫(kù)
get()是獲取網(wǎng)頁(yè)最常用的方式，其基本使用方式如下
使用requests庫(kù)獲取HTML頁(yè)面并將其轉(zhuǎn)換成字符串后，需要進(jìn)一步解析HTML頁(yè)面格式，這里我們常用的就是beautifulsoup4庫(kù)，用于解析和處理HTML和XML
下面這段代碼便是爬取百度的信息并簡(jiǎn)單輸出百度的界面信息
import requests
from bs4 import BeautifulSoup
r=requests.get('http://www.baidu.com')
r.encoding=None
result=r.text
bs=BeautifulSoup(result,'html.parser')
print(bs.title)
print(bs.title.text)
import requests
from bs4 import BeautifulSoup
#用來(lái)解決亂碼現(xiàn)象，所以編寫(xiě)爬取信息的代碼最好帶上（輸出出現(xiàn)亂碼或者UnicodeEncodeError：'gbk'codec can't encode character）
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
#用來(lái)防止反爬取，可以了解一下
headers={"User-Agent" : "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)",
"Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language" : "en-us",
"Connection" : "keep-alive",
"Accept-Charset" : "GB2312,utf-8;q=0.7,*;q=0.7"
}
#獲取51job網(wǎng)站的基本信息
r=requests.get('https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=')
r.encoding=r.apparent_encoding
result=r.text
bs=BeautifulSoup(result,'html.parser')
print(bs.prettify())
u1=bs.find_all('u1',attrs={'class':'item_con_list'}) #這部分代碼便是我們爬取的目標(biāo)，51job網(wǎng)站上關(guān)于python職業(yè)的薪資
print(len(u1))
li=bs.find_all('span',attrs={'class':'t4'})
for l in li:
print(l.text)
上面這段代碼便是爬取51job網(wǎng)站上的與python相關(guān)職業(yè)的薪資
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python用二分法求平方根的案例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
Python實(shí)現(xiàn)初始化不同的變量類型為空值
這篇文章主要介紹了Python實(shí)現(xiàn)初始化不同的變量類型為空值，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)打磚塊游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-02-02
Python importlib動(dòng)態(tài)導(dǎo)入模塊實(shí)現(xiàn)代碼
這篇文章主要介紹了Python importlib動(dòng)態(tài)導(dǎo)入模塊實(shí)現(xiàn)代碼,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
Pandas DataFrame中的tuple元素遍歷的實(shí)現(xiàn)
這篇文章主要介紹了Pandas DataFrame中的tuple元素遍歷的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
python中resample函數(shù)實(shí)現(xiàn)重采樣和降采樣代碼
今天小編就為大家分享一篇python中resample函數(shù)實(shí)現(xiàn)重采樣和降采樣代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
正確理解python中的關(guān)鍵字“with”與上下文管理器
這篇文章主要介紹了關(guān)于python中關(guān)鍵字"with"和上下文管理器的相關(guān)資料，文中介紹的非常詳細(xì)，相信對(duì)大家學(xué)習(xí)或者使用python具有一定的參考價(jià)值，需要的朋友們下面來(lái)一起看看吧。2017-04-04
python輕松辦公將100個(gè)Excel中符合條件的數(shù)據(jù)匯總到1個(gè)Excel里
這篇文章主要為大家介紹了python輕松辦公將100個(gè)Excel中符合條件的數(shù)據(jù)匯總到1個(gè)Excel里示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
這篇文章主要給大家介紹了關(guān)于Python中為何不要再用re.compile的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python編程深度學(xué)習(xí)計(jì)算庫(kù)之numpy
今天小編就為大家分享一篇關(guān)于Python編程深度學(xué)習(xí)計(jì)算庫(kù)之numpy，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2018-12-12