from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
  websiteurl=url
  t=time.time()
  n=0
  html=urllib2.urlopen(websiteurl).read()
  soup=BeautifulSoup(html)
  pageurls=[]
  Upageurls={}
  pageurls=soup.find_all("a",href=True)
  for links in pageurls:
    if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
      Upageurls[links.get("href")]=0
  for links in Upageurls.keys():
    try:
      urllib2.urlopen(links).getcode()
    except:
      print "connect failed"
    else:
      t2=time.time()
      Upageurls[links]=urllib2.urlopen(links).getcode()
      print n,
      print links,
      print Upageurls[links]
      t1=time.time()
      print t1-t2
    n+=1
  print ("total is "+repr(n)+" links")
  print time.time()-t
scanpage("http://news.163.com/")

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

python
url

相關(guān)文章

如何一鍵升級(jí)Python所有包
這篇文章主要介紹了如何一鍵升級(jí)Python所有包，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-11-11
Python實(shí)現(xiàn)前端樣式尺寸單位轉(zhuǎn)換
在?Web?前端項(xiàng)目開(kāi)發(fā)時(shí)，樣式尺寸都是以?rpx?為單位，可是?UI?設(shè)計(jì)師在看完開(kāi)發(fā)后的?UI?，卻要求都以?px?為單位，所以本文就和大家分享一個(gè)利用Python就能實(shí)現(xiàn)尺寸單位轉(zhuǎn)換的方法吧
2023-06-06
python多線程http下載實(shí)現(xiàn)示例
python多線程http下載實(shí)現(xiàn)示例,大家參考使用吧
2013-12-12
Python經(jīng)典案例之圖像漫水填充分割詳解
圖像分割是將圖像分成若干具有獨(dú)特性質(zhì)的區(qū)域并提取感興趣目標(biāo)的技術(shù)和過(guò)程，這篇文章將詳細(xì)講解漫水填充分割應(yīng)用，感興趣的小伙伴可以了解一下
2023-01-01
PyQt5顯示GIF圖片的方法
今天小編就為大家分享一篇PyQt5顯示GIF圖片的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-06-06
pytorch-gpu安裝的經(jīng)驗(yàn)與教訓(xùn)
本文主要介紹了pytorch-gpu安裝的經(jīng)驗(yàn)與教訓(xùn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2023-01-01
Python生成隨機(jī)數(shù)詳解流程
生成隨機(jī)數(shù)一般使用的就是random模塊下的函數(shù)，生成的隨機(jī)數(shù)并不是真正意義上的隨機(jī)數(shù),而是對(duì)隨機(jī)數(shù)的一種模擬。random模塊包含各種偽隨機(jī)數(shù)生成函數(shù)，以及各種根據(jù)概率分布生成隨機(jī)數(shù)的函數(shù)。今天我們的目標(biāo)就是摸清隨機(jī)數(shù)有幾種生成方式
2022-03-03
Python檢查云備份進(jìn)程是否正常運(yùn)行代碼實(shí)例
這篇文章主要介紹了Python檢查云備份進(jìn)程是否正常運(yùn)行代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08
Python?圖形繪制詳細(xì)代碼（一）
這篇文章主要介紹了Python?圖形繪制詳細(xì)代碼，文章主要從最簡(jiǎn)單圖像的開(kāi)始，在同一圖上繪制兩條或多條線一些簡(jiǎn)單操作,想了解的小伙伴可以學(xué)習(xí)一下，希望對(duì)你的學(xué)習(xí)有所幫助
2021-12-12
Python如何把不同類型數(shù)據(jù)的json序列化
這篇文章主要介紹了Python如何把不同類型數(shù)據(jù)的json序列化，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-04-04