欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python使用urllib2模塊抓取HTML頁面資源的實例分享

 更新時間:2016年05月03日 17:58:27   作者:larry  
這篇文章主要介紹了Python使用urllib2模塊抓取HTML頁面資源的實例分享,將要抓取的頁面地址寫在單獨的規(guī)則列表中方便組織和重復使用,需要的朋友可以參考下

先把要抓取的網絡地址列在單獨的list文件中

http://www.dbjr.com.cn/article/83440.html
http://www.dbjr.com.cn/article/83437.html
http://www.dbjr.com.cn/article/83430.html
http://www.dbjr.com.cn/article/83449.html

然后我們來看程序操作,代碼如下:

#!/usr/bin/python

import os
import sys
import urllib2
import re

def Cdown_data(fileurl, fpath, dpath):
 if not os.path.exists(dpath):
  os.makedirs(dpath)
 try:
  getfile = urllib2.urlopen(fileurl) 
  data = getfile.read()
  f = open(fpath, 'w')
  f.write(data)
  f.close()
 except:
 print 

with open('u1.list') as lines:
 for line in lines:
  URI = line.strip()
  if '?' and '%' in URI:
   continue
 elif URI.count('/') == 2:
   continue
  elif URI.count('/') > 2:
   #print URI,URI.count('/')
  try:
    dirpath = URI.rpartition('/')[0].split('//')[1]
    #filepath = URI.split('//')[1].split('/')[1]
    filepath = URI.split('//')[1]
   if filepath:
     print URI,filepath,dirpath
     Cdown_data(URI, filepath, dirpath)
   except:
    print URI,'error'

相關文章

  • python中的編碼知識整理匯總

    python中的編碼知識整理匯總

    這篇文章主要介紹了python中的編碼知識整理匯總的相關資料,需要的朋友可以參考下
    2016-01-01
  • Python 使用雙重循環(huán)打印圖形菱形操作

    Python 使用雙重循環(huán)打印圖形菱形操作

    這篇文章主要介紹了Python 使用雙重循環(huán)打印圖形菱形操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-08-08
  • python-xpath獲取html文檔的部分內容

    python-xpath獲取html文檔的部分內容

    這篇文章主要介紹了python-xpath獲取html文檔的部分內容,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • Python實現照片卡通化

    Python實現照片卡通化

    animegan2-pytorch機器學習項目可以實現照片動漫化,本文將為大家詳細介紹一下如何使用這一項目,感興趣的小伙伴快來跟隨小編一起學習吧
    2021-12-12
  • python中return如何寫

    python中return如何寫

    在本篇文章里小編給大家分享的是一篇關于python中return如何寫的知識點總結,需要的朋友們參考學習下。
    2020-06-06
  • python實現線程池的方法

    python實現線程池的方法

    這篇文章主要介紹了python實現線程池的方法,實例分析了Python線程池的原理與相關實現技巧,需要的朋友可以參考下
    2015-06-06
  • Python入門教程(四十三)Python的NumPy數據類型

    Python入門教程(四十三)Python的NumPy數據類型

    這篇文章主要介紹了Python入門教程(四十二)Python的NumPy數組裁切,NumPy有一些額外的數據類型,并通過一個字符引用數據類型,例如 i 代表整數,u 代表無符號整數等,需要的朋友可以參考下
    2023-05-05
  • 基于python繪制科赫雪花

    基于python繪制科赫雪花

    這篇文章主要為大家詳細介紹了基于python繪制科赫雪花,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-06-06
  • pandas將DataFrame的列變成行索引的方法

    pandas將DataFrame的列變成行索引的方法

    下面小編就為大家分享一篇pandas將DataFrame的列變成行索引的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-04-04
  • Python列表刪除元素del、pop()和remove()的區(qū)別小結

    Python列表刪除元素del、pop()和remove()的區(qū)別小結

    這篇文章主要給大家介紹了關于Python列表刪除元素del、pop()和remove()的區(qū)別,文中通過示例代碼介紹的非常詳細,對大家學習或者使用Python具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧
    2019-09-09

最新評論