欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python提取頁面內(nèi)url列表的方法

 更新時間:2015年05月25日 12:27:51   作者:小蘿莉  
這篇文章主要介紹了python提取頁面內(nèi)url列表的方法,涉及Python操作頁面元素的相關(guān)技巧,需要的朋友可以參考下

本文實例講述了python提取頁面內(nèi)url列表的方法。分享給大家供大家參考。具體實現(xiàn)方法如下:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
  websiteurl=url
  t=time.time()
  n=0
  html=urllib2.urlopen(websiteurl).read()
  soup=BeautifulSoup(html)
  pageurls=[]
  Upageurls={}
  pageurls=soup.find_all("a",href=True)
  for links in pageurls:
    if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
      Upageurls[links.get("href")]=0
  for links in Upageurls.keys():
    try:
      urllib2.urlopen(links).getcode()
    except:
      print "connect failed"
    else:
      t2=time.time()
      Upageurls[links]=urllib2.urlopen(links).getcode()
      print n,
      print links,
      print Upageurls[links]
      t1=time.time()
      print t1-t2
    n+=1
  print ("total is "+repr(n)+" links")
  print time.time()-t
scanpage("http://news.163.com/")

希望本文所述對大家的Python程序設(shè)計有所幫助。

相關(guān)文章

  • 如何一鍵升級Python所有包

    如何一鍵升級Python所有包

    這篇文章主要介紹了如何一鍵升級Python所有包,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-11-11
  • Python實現(xiàn)前端樣式尺寸單位轉(zhuǎn)換

    Python實現(xiàn)前端樣式尺寸單位轉(zhuǎn)換

    在?Web?前端項目開發(fā)時,樣式尺寸都是以?rpx?為單位,可是?UI?設(shè)計師在看完開發(fā)后的?UI?,卻要求都以?px?為單位,所以本文就和大家分享一個利用Python就能實現(xiàn)尺寸單位轉(zhuǎn)換的方法吧
    2023-06-06
  • python多線程http下載實現(xiàn)示例

    python多線程http下載實現(xiàn)示例

    python多線程http下載實現(xiàn)示例,大家參考使用吧
    2013-12-12
  • Python經(jīng)典案例之圖像漫水填充分割詳解

    Python經(jīng)典案例之圖像漫水填充分割詳解

    圖像分割是將圖像分成若干具有獨特性質(zhì)的區(qū)域并提取感興趣目標(biāo)的技術(shù)和過程,這篇文章將詳細(xì)講解漫水填充分割應(yīng)用,感興趣的小伙伴可以了解一下
    2023-01-01
  • PyQt5顯示GIF圖片的方法

    PyQt5顯示GIF圖片的方法

    今天小編就為大家分享一篇PyQt5顯示GIF圖片的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-06-06
  • pytorch-gpu安裝的經(jīng)驗與教訓(xùn)

    pytorch-gpu安裝的經(jīng)驗與教訓(xùn)

    本文主要介紹了pytorch-gpu安裝的經(jīng)驗與教訓(xùn),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2023-01-01
  • Python生成隨機數(shù)詳解流程

    Python生成隨機數(shù)詳解流程

    生成隨機數(shù)一般使用的就是random模塊下的函數(shù),生成的隨機數(shù)并不是真正意義上的隨機數(shù),而是對隨機數(shù)的一種模擬。random模塊包含各種偽隨機數(shù)生成函數(shù),以及各種根據(jù)概率分布生成隨機數(shù)的函數(shù)。今天我們的目標(biāo)就是摸清隨機數(shù)有幾種生成方式
    2022-03-03
  • Python檢查 云備份進程是否正常運行代碼實例

    Python檢查 云備份進程是否正常運行代碼實例

    這篇文章主要介紹了Python檢查 云備份進程是否正常運行代碼實例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-08-08
  • Python?圖形繪制詳細(xì)代碼(一)

    Python?圖形繪制詳細(xì)代碼(一)

    這篇文章主要介紹了Python?圖形繪制詳細(xì)代碼,文章主要從最簡單圖像的開始,在同一圖上繪制兩條或多條線一些簡單操作,想了解的小伙伴可以學(xué)習(xí)一下,希望對你的學(xué)習(xí)有所幫助
    2021-12-12
  • Python如何把不同類型數(shù)據(jù)的json序列化

    Python如何把不同類型數(shù)據(jù)的json序列化

    這篇文章主要介紹了Python如何把不同類型數(shù)據(jù)的json序列化,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下
    2021-04-04

最新評論