Python使用urllib2模塊抓取HTML頁面資源的實(shí)例分享
更新時間：2016年05月03日 17:58:27 作者：larry
這篇文章主要介紹了Python使用urllib2模塊抓取HTML頁面資源的實(shí)例分享,將要抓取的頁面地址寫在單獨(dú)的規(guī)則列表中方便組織和重復(fù)使用,需要的朋友可以參考下
先把要抓取的網(wǎng)絡(luò)地址列在單獨(dú)的list文件中
http://www.dbjr.com.cn/article/83440.html http://www.dbjr.com.cn/article/83437.html http://www.dbjr.com.cn/article/83430.html http://www.dbjr.com.cn/article/83449.html
然后我們來看程序操作，代碼如下：
#!/usr/bin/python
import os
import sys
import urllib2
import re
def Cdown_data(fileurl, fpath, dpath):
if not os.path.exists(dpath):
os.makedirs(dpath)
try:
getfile = urllib2.urlopen(fileurl)
data = getfile.read()
f = open(fpath, 'w')
f.write(data)
f.close()
except:
print
with open('u1.list') as lines:
for line in lines:
URI = line.strip()
if '?' and '%' in URI:
continue
elif URI.count('/') == 2:
continue
elif URI.count('/') > 2:
#print URI,URI.count('/')
try:
dirpath = URI.rpartition('/')[0].split('//')[1]
#filepath = URI.split('//')[1].split('/')[1]
filepath = URI.split('//')[1]
if filepath:
print URI,filepath,dirpath
Cdown_data(URI, filepath, dirpath)
except:
print URI,'error'
相關(guān)文章
這篇文章主要介紹了python中的編碼知識整理匯總的相關(guān)資料,需要的朋友可以參考下2016-01-01
這篇文章主要介紹了Python 使用雙重循環(huán)打印圖形菱形操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-08-08
python-xpath獲取html文檔的部分內(nèi)容
這篇文章主要介紹了python-xpath獲取html文檔的部分內(nèi)容，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
animegan2-pytorch機(jī)器學(xué)習(xí)項(xiàng)目可以實(shí)現(xiàn)照片動漫化，本文將為大家詳細(xì)介紹一下如何使用這一項(xiàng)目，感興趣的小伙伴快來跟隨小編一起學(xué)習(xí)吧2021-12-12
在本篇文章里小編給大家分享的是一篇關(guān)于python中return如何寫的知識點(diǎn)總結(jié)，需要的朋友們參考學(xué)習(xí)下。2020-06-06
這篇文章主要介紹了python實(shí)現(xiàn)線程池的方法,實(shí)例分析了Python線程池的原理與相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2015-06-06
Python入門教程(四十三)Python的NumPy數(shù)據(jù)類型
這篇文章主要介紹了Python入門教程(四十二)Python的NumPy數(shù)組裁切,NumPy有一些額外的數(shù)據(jù)類型，并通過一個字符引用數(shù)據(jù)類型，例如 i 代表整數(shù)，u 代表無符號整數(shù)等,需要的朋友可以參考下2023-05-05
這篇文章主要為大家詳細(xì)介紹了基于python繪制科赫雪花，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
下面小編就為大家分享一篇pandas將DataFrame的列變成行索引的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python列表刪除元素del、pop()和remove()的區(qū)別小結(jié)
這篇文章主要給大家介紹了關(guān)于Python列表刪除元素del、pop()和remove()的區(qū)別，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09