欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

編寫Python爬蟲抓取豆瓣電影TOP100及用戶頭像的方法

 更新時間:2016年01月20日 10:59:12   作者:XiaoluD  
這篇文章主要介紹了編寫Python爬蟲抓取豆瓣電影TOP100及用戶頭像的方法,用到了Python的urllib和urllib2模塊,需要的朋友可以參考下

抓取豆瓣電影TOP100
一、分析豆瓣top頁面,構(gòu)建程序結(jié)構(gòu)
1.首先打開網(wǎng)頁http://movie.douban.com/top250?start,也就是top頁面
然后試著點(diǎn)擊到top100的頁面,注意帶top100的鏈接依次為

http://movie.douban.com/top250?start=0
http://movie.douban.com/top250?start=25
http://movie.douban.com/top250?start=50
http://movie.douban.com/top250?start=75

2.然后通過查看源碼,發(fā)現(xiàn)電影名的代碼如下:

<span class="title">肖申克的救贖</span>
<span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
如圖,因?yàn)橛幸恍┯⑽拿让枋觯ㄟ^正則抓取有些干擾,可能還需要后續(xù)過濾。

根據(jù)以上信息,此程序主要分以下3個步驟:

二、構(gòu)建url地址池

  • 抓取top100電影名稱
  • 依次打印輸出

依次寫出代碼

1.構(gòu)建url地址池。代碼如下:

import urllib2
import re
# ----------確定url地址池------------
pre_url = 'http://movie.douban.com/top250?start='
top_urls = []
# 因?yàn)閠op100,每頁25部電影,故為4頁,從零開始
for num in range(4):
  top_urls.append(pre_url + str(num * 25))

2.抓取top100電影名稱

# ------------抓取top100電影名稱----------
top_content = []
top_tag = re.compile(r'<span class="title">(.+?)</span>')
for url in top_urls:
  content = urllib2.urlopen(url).read()
  pre_content = re.findall(top_tag, content)
  # 過濾不符合條件的list,得到最后的top100的list
  for item in pre_content:
    if item.find('&nbsp') == -1:
      top_content.append(item)

3.打印輸出

top_num = 1
for item in top_content:
  print 'Top' + str(top_num) + '  ' + item
  top_num += 1

三、整理代碼
我還是python新手,還沒有太多的pythonic思想,也沒有代碼優(yōu)化技巧,只能說是整理。
其次,個人習(xí)慣,在簡單的代碼里面我還是喜歡少用函數(shù),盡量不隱藏代碼的邏輯。
以下代碼請參考,并歡迎提意見,希望得到大家的意見,謝謝!
整理后的代碼如下:

# coding=utf-8
'''
本代碼為自動抓取豆瓣top100電影代碼
@pre_url url地址前綴,在這里為http://movie.douban.com/top250?start=
@top_urls url地址池
@top_tag 為抓取電影名正則表達(dá)式
'''

import urllib2
import re

pre_url = 'http://movie.douban.com/top250?start='
top_urls = []
top_tag = re.compile(r'<span class="title">(.+?)</span>')
top_content = []
top_num = 1

# ----------確定url地址池------------
# 因?yàn)閠op100,每頁25部電影,故為4頁,從零開始
for num in range(4):
  top_urls.append(pre_url + str(num * 25))


# ------------抓取top100電影名稱,并打印輸出----------
top_tag = re.compile(r'<span class="title">(.+?)</span>')
for url in top_urls:
  content = urllib2.urlopen(url).read()
  pre_content = re.findall(top_tag, content)
  # 過濾并打印輸出
  for item in pre_content:
    if item.find('&nbsp') == -1:
      print 'Top' + str(top_num) + '  ' + item
      top_num += 1

抓取用戶頭像圖片

import urllib.request
import re
import time
 
#獲取輸入的帖子單頁html
def getHtml2(url2):
  html2=urllib.request.urlopen(url2).read().decode('utf-8')
  return html2
 
#抽取圖片相關(guān)列表,并下載圖片
def gettopic(html2):
  reg2=r'http://www.douban.com/group/topic/\d+'
  topiclist=re.findall(reg2,html2)
  x=0
  #限制下載的圖片數(shù)
  for topicurl in topiclist:
    x+=1
  return topicurl
 
 
#下載圖片到本地
def download(topic_page):
  reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg'
  imglist=re.findall(reg3,topic_page)
  i=1
  download_img=None
  for imgurl in imglist:
#取圖片ID為文件名
    img_numlist=re.findall(r'p\d{7}',imgurl)
    for img_num in img_numlist:
       
      download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num)
      time.sleep(1) 
      i+=1
      print(imgurl)
  return download_img
 
#調(diào)用函數(shù)
page_end=int(input('請輸入結(jié)束時的頁碼:'))
num_end=page_end*25
num=0
page_num=1
while num<=num_end:
  html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num)
  topicurl=gettopic(html2)
  topic_page=getHtml2(topicurl)
  download_img=download(topic_page)
  num=page_num*25
  page_num+=1
 
else:
  print('采集完成!')

相關(guān)文章

  • python封裝對象實(shí)現(xiàn)時間效果

    python封裝對象實(shí)現(xiàn)時間效果

    這篇文章主要為大家詳細(xì)介紹了python封裝對象實(shí)現(xiàn)時間效果,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2010-10-10
  • 詳解Pytorch中Dataset的使用

    詳解Pytorch中Dataset的使用

    這篇文章主要為大家詳細(xì)介紹了如何加載并處理TorchVision的FashionMNIST Dataset,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2022-12-12
  • Python中五種實(shí)現(xiàn)字符串反轉(zhuǎn)的方法

    Python中五種實(shí)現(xiàn)字符串反轉(zhuǎn)的方法

    這篇文章主要介紹了Python中五種實(shí)現(xiàn)字符串反轉(zhuǎn)的方法,編寫一個函數(shù),其作用是將輸入的字符串反轉(zhuǎn)過來。下面文章關(guān)于其詳細(xì)介紹,需要的小伙伴可以參考一下
    2022-05-05
  • Matplotlib直方圖繪制中的參數(shù)bins和rwidth的實(shí)現(xiàn)

    Matplotlib直方圖繪制中的參數(shù)bins和rwidth的實(shí)現(xiàn)

    本文主要介紹了Matplotlib直方圖繪制中的參數(shù)bins和rwidth的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-02-02
  • Keras 切換后端方式(Theano和TensorFlow)

    Keras 切換后端方式(Theano和TensorFlow)

    這篇文章主要介紹了Keras 切換后端方式(Theano和TensorFlow),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Python輕松搞定視頻剪輯重復(fù)性工作問題

    Python輕松搞定視頻剪輯重復(fù)性工作問題

    這篇文章主要介紹了Python輕松搞定視頻剪輯重復(fù)性工作問題,大家做視頻剪輯的時候,還在重復(fù)性工作嗎?今天,小編來教大家如何利用Python幫你搞定這些重復(fù)性的剪輯工作,需要的朋友可以參考一下
    2021-12-12
  • 利用Python+PyQt5實(shí)現(xiàn)簡易瀏覽器的實(shí)戰(zhàn)記錄

    利用Python+PyQt5實(shí)現(xiàn)簡易瀏覽器的實(shí)戰(zhàn)記錄

    這篇文章主要給大家介紹了關(guān)于如何利用Python+PyQt5實(shí)現(xiàn)簡易瀏覽器的相關(guān)資料,Qt 的主要優(yōu)勢是可以開發(fā)跨平臺的圖形界面程序,基于 Qt 的應(yīng)用能夠借助于各平臺的原生性在不同類的設(shè)備上運(yùn)行,而無須修改任何代碼庫,需要的朋友可以參考下
    2021-07-07
  • Python lambda表達(dá)式用法實(shí)例分析

    Python lambda表達(dá)式用法實(shí)例分析

    這篇文章主要介紹了Python lambda表達(dá)式用法,結(jié)合實(shí)例形式分析了lambda表達(dá)式的具體功能、應(yīng)用場景及相關(guān)使用技巧,需要的朋友可以參考下
    2018-12-12
  • python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作

    python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作

    這篇文章主要介紹了python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Python3.7 新特性之dataclass裝飾器

    Python3.7 新特性之dataclass裝飾器

    Python 3.7中一個令人興奮的新特性是 data classes 。這篇文章主要介紹了Python3.7 新特性之dataclass裝飾器,需要的朋友可以參考下
    2019-05-05

最新評論