欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python數(shù)據(jù)爬下來保存的位置

 更新時(shí)間：2020年02月17日 11:18:56   作者：十一月的蕭邦。  
在本篇文章里小編給大家整理的是關(guān)于python數(shù)據(jù)爬下來保存的位置，需要的朋友們可以參考下。

昨天下班后忽然興起想寫一個(gè)爬蟲抓抓網(wǎng)頁上的東西。花了一個(gè)鐘簡(jiǎn)單學(xué)習(xí)了python的基礎(chǔ)語法，然后參照網(wǎng)上的例子自己寫了個(gè)爬蟲。

python數(shù)據(jù)爬下來保存在本地，一般是文件或數(shù)據(jù)庫中，但是文件形式相比要更加簡(jiǎn)單，如果只是自己寫爬蟲玩，可以用文件形式來保存數(shù)據(jù)。

#coding=utf-8
import urllib.request
import re
import os
 
'''
Urllib 模塊提供了讀取web頁面數(shù)據(jù)的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)
urlopen 方法用來打開一個(gè)url
read方法 用于讀取Url上的數(shù)據(jù)
'''
 
def getHtml(url):
  page = urllib.request.urlopen(url);
  html = page.read();
  return html;
 
def getImg(html):
  imglist = re.findall('img src="(http.*?)"',html
  return imglist
 
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
 
if os.path.exists("D:/imags") == False:
  os.mkdir("D:/imags");
   
count = 0;
for url in imagesUrl:
  print(url)
  if(url.find('.') != -1):
    name = url[url.find('.',len(url) - 5):];
    bytes = urllib.request.urlopen(url);
    f = open("D:/imags/"+str(count)+name, 'wb');
    f.write(bytes.read());
    f.flush();
    f.close();
    count+=1

經(jīng)測(cè)試，基本功能還是可以實(shí)現(xiàn)的?；ǖ妮^多的時(shí)間就是正則匹配哪里，因?yàn)樽约簩?duì)正則表達(dá)式也不是非常熟悉。所以還是花了點(diǎn)時(shí)間。

注：上面的程序基于 python 3.5。python3 和 python2 還是有些區(qū)別的。我剛開始看基礎(chǔ)語法的時(shí)候就栽了一些坑里。

以上就是python數(shù)據(jù)爬下來保存在哪里的詳細(xì)內(nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。

相關(guān)文章

最新評(píng)論