python獲取整個(gè)網(wǎng)頁(yè)源碼的方法
更新時(shí)間：2020年08月03日 07:54:00 作者：Ly
在本篇文章里小編給大家整理的是關(guān)于python獲取整個(gè)網(wǎng)頁(yè)源碼的方法，需要的朋友們可以參考下。
1、Python中獲取整個(gè)頁(yè)面的代碼：
import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)
2、運(yùn)行結(jié)果
實(shí)例擴(kuò)展：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage(http://news.163.com/)
到此這篇關(guān)于python獲取整個(gè)網(wǎng)頁(yè)源碼的方法的文章就介紹到這了,更多相關(guān)python如何獲取整個(gè)頁(yè)面內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python自動(dòng)保存百度盤資源到百度盤中的實(shí)例代碼
這篇文章主要介紹了python自動(dòng)保存百度盤資源到百度盤中的實(shí)例代碼，代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08
Python 寫(xiě)小游戲吃金幣+打乒乓+滑雪(附源碼)
這篇文章主要給大家分享的是利用Python 寫(xiě)小游戲吃金幣、打乒乓、滑雪并附上源碼，具有一的知識(shí)性參考價(jià)值，需要的小伙伴可以參考一下2022-03-03
下面小編就為大家?guī)?lái)一篇python字符串中的單雙引。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-02-02
ChatGLM-6B+LangChain環(huán)境部署與使用實(shí)戰(zhàn)
這篇文章主要介紹了ChatGLM-6B+LangChain環(huán)境部署與使用方法,結(jié)合實(shí)例形式詳細(xì)分析了ChatGLM-6B+LangChain環(huán)境部署相關(guān)步驟、實(shí)現(xiàn)方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下2023-07-07
這篇文章主要介紹了使用Python操作ArangoDB的方法步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
python的reverse函數(shù)翻轉(zhuǎn)結(jié)果為None的問(wèn)題
這篇文章主要介紹了python的reverse函數(shù)翻轉(zhuǎn)結(jié)果為None的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
詳解Python數(shù)據(jù)結(jié)構(gòu)與算法中的順序表
線性表在計(jì)算機(jī)中的表示可以采用多種方法，采用不同存儲(chǔ)方法的線性表也有著不同的名稱和特點(diǎn)。線性表有兩種基本的存儲(chǔ)結(jié)構(gòu)：順序存儲(chǔ)結(jié)構(gòu)和鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)。本文將介紹順序存儲(chǔ)結(jié)構(gòu)的特點(diǎn)以及各種基本運(yùn)算的實(shí)現(xiàn)。需要的可以參考一下2022-01-01
Python的對(duì)象傳遞與Copy函數(shù)使用詳解
今天小編就為大家分享一篇Python的對(duì)象傳遞與Copy函數(shù)使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
用Matlab讀取CSV文件出現(xiàn)不匹配問(wèn)題及解決
這篇文章主要介紹了用Matlab讀取CSV文件出現(xiàn)不匹配問(wèn)題及解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
數(shù)據(jù)清洗是數(shù)據(jù)處理過(guò)程中至關(guān)重要的一部分,本文主要介紹了如何使用Python數(shù)據(jù)清洗庫(kù),具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12