python3中requests庫重定向獲取URL
前言：
有時候 我們抓取一些頁面，發(fā)現(xiàn)一些url 有重定向， 返回 301 ，或者302 這種情況。 那么我們?nèi)绾潍@取真實的URL呢？ 或者跳轉(zhuǎn)后的URL呢？
這里我使用 requests 作為演示
假設(shè)我們要訪問 某東的電子商務(wù)網(wǎng)站，我只記得網(wǎng)站好像是 http://jd.com
import requests
def request_jd():
url = 'http://jd.com/'
#allow_redirects= False 這里設(shè)置不允許跳轉(zhuǎn)
response = requests.get(url=url, allow_redirects=False)
print(response.headers)
print(response.status_code)
看結(jié)果 返回response header 中有一個屬性 Location ，代表重定向了 'Location': 'https://www.jd.com'
我們在瀏覽器中 chrome network 面板 ，抓包觀察。 注意把 preserve log 這個選項勾選上。
從 瀏覽器的response header 中 我們可以看到 Location， 從 General 我們可以看到 status code 301 ，發(fā)生了跳轉(zhuǎn)。
方法1：
你現(xiàn)在知道如何獲取跳轉(zhuǎn)后的URL了嗎，直接從response header，獲取 Location 即可。
在request.header 中 返回header 的key是不區(qū)分大小寫的， 所以全小寫也是可以正確取值的。
import requests
def request_jd():
url = 'http://jd.com/'
response = requests.get(url=url, allow_redirects=False)
#return response.headers.get('location')
return response.headers.get('Location')方法2：
其實默認(rèn)情況下， requests 會自動跳轉(zhuǎn)，如果發(fā)生了重定向，會自動跳到location 指定的URL，我們只需要訪問URL， 獲取response， 然后 response.url 就可以獲取到真實的URL啦。
import requests
def request_jd():
url = 'http://jd.com/'
response = requests.get(url=url)
return response.url到此這篇關(guān)于python3中requests庫重定向獲取URL的文章就介紹到這了,更多相關(guān)python獲取URL 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
今天小編就為大家分享一篇python flask搭建web應(yīng)用教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
這篇文章主要介紹了python如何調(diào)用百度識圖api，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-09-09
判斷Threading.start新線程是否執(zhí)行完畢的實例
這篇文章主要介紹了判斷Threading.start新線程是否執(zhí)行完畢的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
在本篇文章里小編給大家整理的是一篇關(guān)于python中%格式表達式實例用法的相關(guān)內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)下。2021-06-06
使用Python手工計算x的算數(shù)平方根,來自中國古人的數(shù)學(xué)智慧
本篇采用的計算方法既非二分法也非牛頓迭代法，而是把中國古代的手工計算平方根的方法轉(zhuǎn)成代碼來完成。代碼有點煩雜，算是拋磚引玉吧，期待高手們寫出更好的代碼來2021-09-09
這篇文章主要介紹了python的import?機制是怎么實現(xiàn)的，import有Python運行時的全局模塊池的維護和搜索、解析與搜索模塊路徑的樹狀結(jié)構(gòu)等作用，下文具體相關(guān)介紹需要的小伙伴可以參考一下2022-05-05
python中翻譯功能translate模塊實現(xiàn)方法
在本篇文章中小編給各位整理了一篇關(guān)于python中翻譯功能translate模塊實現(xiàn)方法，有需要的朋友們可以參考下。2020-12-12
Python使用everything庫構(gòu)建文件搜索和管理工具
在這篇博客中,我將分享如何使用 Python 的 everytools庫構(gòu)建一個簡單的文件搜索和管理工具,這個工具允許用戶搜索文件、查看文件路徑、導(dǎo)出文件信息到 Excel,以及生成配置文件,文中有相關(guān)的代碼示例供大家參考,需要的朋友可以參考下2024-08-08
這篇文章主要為大家介紹了python庫matplotlib繪制坐標(biāo)圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-10-10
這篇文章介紹了Python字節(jié)串類型bytes及用法，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-05-05