python3.4爬蟲demo
更新時間：2019年01月22日 10:27:15 作者：chenqiangdage
今天小編就為大家分享一篇關于python3.4爬蟲demo，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
python 3.4 所寫爬蟲
僅僅是個demo，以百度圖片首頁圖片為例。能跑出圖片上的圖片；
使用 eclipse pydev 編寫：
from SpiderSimple.HtmLHelper import *
import imp
import sys
imp.reload(sys)
#sys.setdefaultencoding('utf-8')
html = getHtml('http://image.baidu.com/')
try:
getImage(html)
exit()
except Exception as e:
print(e)
HtmlHelper.py文件
上面的 SpiderSimple是自定義的包名
from urllib.request import urlopen,urlretrieve
#正則庫
import re
#打開網頁
def getHtml(url):
page = urlopen(url)
html = page.read()
return html
#用正則爬里面的圖片地址
def getImage(Html):
try:
#reg = r'src="(.+?\.jpg)" class'
#image = re.compile(reg)
image = re.compile(r'<img[^>]*src[=\"\']+([^\"\']*)[\"\'][^>]*>', re.I)
Html = Html.decode('utf-8')
imaglist = re.findall(image,Html)
x =0
for imagurl in imaglist:
#將圖片一個個下載到項目所在文件夾
urlretrieve(imagurl, '%s.jpg' % x)
x+=1
except Exception as e:
print(e)
要注意個大問題，python 默認編碼的問題。
有可能報UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，錯誤。這個要設置python的默認編碼為utf-8.
設置最好的方式是寫bat文件，
echo off set PYTHONIOENCODING=utf8 python -u %1
然后重啟電腦。
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
相關文章
這篇文章主要介紹了pycharm配置QtDesigner的超詳細方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了Python如何使用字符打印照片,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-01-01
Pandas 是一個用于數(shù)據(jù)分析的 Python 第三方庫，能夠處理和分析不同格式的數(shù)據(jù)，Pandas 提供了兩種數(shù)據(jù)結構，分別為 Series 和 DataFrame，靈活而方便地進行數(shù)據(jù)分析和操作，本文通過實例代碼給大家介紹的非常詳細，需要的朋友參考下吧2023-06-06
使用PyInstaller將Python代碼打包成獨立可執(zhí)行文件詳細步驟
PyInstaller是一個Python庫,可以將Python應用程序轉換為獨立的可執(zhí)行文件,這篇文章主要給大家介紹了關于使用PyInstaller將Python代碼打包成獨立可執(zhí)行文件的詳細步驟,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了Python實現(xiàn)重建二叉樹的三種方法,結合實例形式分析了Python重建二叉樹的實現(xiàn)方法、操作技巧與注意事項,需要的朋友可以參考下2018-06-06
Apscheduler是一個基于Quartz的python定時任務框架,本文主要介紹了Python輕量級定時任務調度APScheduler的使用,具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了使用Python3編寫抓取網頁和只抓網頁圖片的腳本,使用到了urllib模塊,需要的朋友可以參考下2015-08-08
成語接龍是中華民族傳統(tǒng)的文字游戲。本文將用Python制作一個簡單的成語接龍小程序，文中的示例代碼講解詳細，感興趣的小伙伴可以了解一下2022-08-08
這篇文章主要介紹了python多線程編程中的join函數(shù)使用心得,本文先是給出了join函數(shù)使用例子,并對join函數(shù)的使用作了總結,需要的朋友可以參考下2014-09-09
使用Python進行數(shù)據(jù)清洗和預處理的實現(xiàn)代碼
Python作為數(shù)據(jù)科學領域的熱門編程語言,提供了豐富的庫和工具來處理和清洗數(shù)據(jù),本文將介紹如何使用Python進行數(shù)據(jù)清洗和預處理,并提供相應的代碼示例,需要的朋友可以參考下2024-05-05