編寫Python爬蟲抓取豆瓣電影TOP100及用戶頭像的方法
抓取豆瓣電影TOP100
一、分析豆瓣top頁面,構(gòu)建程序結(jié)構(gòu)
1.首先打開網(wǎng)頁http://movie.douban.com/top250?start,也就是top頁面
然后試著點(diǎn)擊到top100的頁面,注意帶top100的鏈接依次為
http://movie.douban.com/top250?start=0 http://movie.douban.com/top250?start=25 http://movie.douban.com/top250?start=50 http://movie.douban.com/top250?start=75
2.然后通過查看源碼,發(fā)現(xiàn)電影名的代碼如下:
<span class="title">肖申克的救贖</span>
<span class="title"> / The Shawshank Redemption</span>
如圖,因?yàn)橛幸恍┯⑽拿让枋觯ㄟ^正則抓取有些干擾,可能還需要后續(xù)過濾。
根據(jù)以上信息,此程序主要分以下3個步驟:
二、構(gòu)建url地址池
- 抓取top100電影名稱
- 依次打印輸出
依次寫出代碼
1.構(gòu)建url地址池。代碼如下:
import urllib2 import re # ----------確定url地址池------------ pre_url = 'http://movie.douban.com/top250?start=' top_urls = [] # 因?yàn)閠op100,每頁25部電影,故為4頁,從零開始 for num in range(4): top_urls.append(pre_url + str(num * 25))
2.抓取top100電影名稱
# ------------抓取top100電影名稱---------- top_content = [] top_tag = re.compile(r'<span class="title">(.+?)</span>') for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 過濾不符合條件的list,得到最后的top100的list for item in pre_content: if item.find(' ') == -1: top_content.append(item)
3.打印輸出
top_num = 1 for item in top_content: print 'Top' + str(top_num) + ' ' + item top_num += 1
三、整理代碼
我還是python新手,還沒有太多的pythonic思想,也沒有代碼優(yōu)化技巧,只能說是整理。
其次,個人習(xí)慣,在簡單的代碼里面我還是喜歡少用函數(shù),盡量不隱藏代碼的邏輯。
以下代碼請參考,并歡迎提意見,希望得到大家的意見,謝謝!
整理后的代碼如下:
# coding=utf-8 ''' 本代碼為自動抓取豆瓣top100電影代碼 @pre_url url地址前綴,在這里為http://movie.douban.com/top250?start= @top_urls url地址池 @top_tag 為抓取電影名正則表達(dá)式 ''' import urllib2 import re pre_url = 'http://movie.douban.com/top250?start=' top_urls = [] top_tag = re.compile(r'<span class="title">(.+?)</span>') top_content = [] top_num = 1 # ----------確定url地址池------------ # 因?yàn)閠op100,每頁25部電影,故為4頁,從零開始 for num in range(4): top_urls.append(pre_url + str(num * 25)) # ------------抓取top100電影名稱,并打印輸出---------- top_tag = re.compile(r'<span class="title">(.+?)</span>') for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 過濾并打印輸出 for item in pre_content: if item.find(' ') == -1: print 'Top' + str(top_num) + ' ' + item top_num += 1
抓取用戶頭像圖片
import urllib.request import re import time #獲取輸入的帖子單頁html def getHtml2(url2): html2=urllib.request.urlopen(url2).read().decode('utf-8') return html2 #抽取圖片相關(guān)列表,并下載圖片 def gettopic(html2): reg2=r'http://www.douban.com/group/topic/\d+' topiclist=re.findall(reg2,html2) x=0 #限制下載的圖片數(shù) for topicurl in topiclist: x+=1 return topicurl #下載圖片到本地 def download(topic_page): reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg' imglist=re.findall(reg3,topic_page) i=1 download_img=None for imgurl in imglist: #取圖片ID為文件名 img_numlist=re.findall(r'p\d{7}',imgurl) for img_num in img_numlist: download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num) time.sleep(1) i+=1 print(imgurl) return download_img #調(diào)用函數(shù) page_end=int(input('請輸入結(jié)束時的頁碼:')) num_end=page_end*25 num=0 page_num=1 while num<=num_end: html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num) topicurl=gettopic(html2) topic_page=getHtml2(topicurl) download_img=download(topic_page) num=page_num*25 page_num+=1 else: print('采集完成!')
- Python爬蟲入門教程01之爬取豆瓣Top電影
- Python爬蟲獲取豆瓣電影并寫入excel
- Python爬蟲實(shí)現(xiàn)的根據(jù)分類爬取豆瓣電影信息功能示例
- python爬蟲豆瓣網(wǎng)的模擬登錄實(shí)現(xiàn)
- Python爬蟲——爬取豆瓣電影Top250代碼實(shí)例
- 一個簡單的python爬蟲程序 爬取豆瓣熱度Top100以內(nèi)的電影信息
- Python爬蟲實(shí)戰(zhàn):分析《戰(zhàn)狼2》豆瓣影評
- Python制作豆瓣圖片的爬蟲
- 實(shí)踐Python的爬蟲框架Scrapy來抓取豆瓣電影TOP250
- python 開心網(wǎng)和豆瓣日記爬取的小爬蟲
相關(guān)文章
Python中五種實(shí)現(xiàn)字符串反轉(zhuǎn)的方法
這篇文章主要介紹了Python中五種實(shí)現(xiàn)字符串反轉(zhuǎn)的方法,編寫一個函數(shù),其作用是將輸入的字符串反轉(zhuǎn)過來。下面文章關(guān)于其詳細(xì)介紹,需要的小伙伴可以參考一下2022-05-05Matplotlib直方圖繪制中的參數(shù)bins和rwidth的實(shí)現(xiàn)
本文主要介紹了Matplotlib直方圖繪制中的參數(shù)bins和rwidth的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-02-02Keras 切換后端方式(Theano和TensorFlow)
這篇文章主要介紹了Keras 切換后端方式(Theano和TensorFlow),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06利用Python+PyQt5實(shí)現(xiàn)簡易瀏覽器的實(shí)戰(zhàn)記錄
這篇文章主要給大家介紹了關(guān)于如何利用Python+PyQt5實(shí)現(xiàn)簡易瀏覽器的相關(guān)資料,Qt 的主要優(yōu)勢是可以開發(fā)跨平臺的圖形界面程序,基于 Qt 的應(yīng)用能夠借助于各平臺的原生性在不同類的設(shè)備上運(yùn)行,而無須修改任何代碼庫,需要的朋友可以參考下2021-07-07Python lambda表達(dá)式用法實(shí)例分析
這篇文章主要介紹了Python lambda表達(dá)式用法,結(jié)合實(shí)例形式分析了lambda表達(dá)式的具體功能、應(yīng)用場景及相關(guān)使用技巧,需要的朋友可以參考下2018-12-12python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作
這篇文章主要介紹了python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05