欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python的Django框架中消息通知的計數(shù)器實現(xiàn)教程

 更新時間:2016年06月13日 18:05:57   作者:piglei  
通知的計數(shù)器非常有用,新通知時+1和讀過通知后的-1是最基本的功能,這里我們就來看一下Python的Django框架中消息通知的計數(shù)器實現(xiàn)教程

故事的開始:.count()
假設(shè)你有一個Notification Model類,保存的主要是所有的站內(nèi)通知:

class Notification(models.Model):
  """一個簡化過的Notification類,擁有三個字段:

  - `user_id`: 消息所有人的用戶ID
  - `has_readed`: 表示消息是否已讀
  """

  user_id = models.IntegerField(db_index=True)
  has_readed = models.BooleanField(default=False)

理所當(dāng)然的,剛開始你會通過這樣的查詢來獲取某個用戶的未讀消息數(shù):

# 獲取ID為3074的用戶的未讀消息數(shù)
Notification.objects.filter(user_id=3074, has_readed=False).count()

當(dāng)你的Notification表比較小的時候,這樣的方式?jīng)]有任何的問題,但是慢慢的,隨著業(yè)務(wù)量 的擴大。消息表里面有了 上億條數(shù)據(jù) 。很多懶惰的用戶的未讀消息數(shù)都到了上千條。

這時候,你就需要實現(xiàn)一個計數(shù)器,讓這個計數(shù)器來統(tǒng)計每個用戶的未讀消息數(shù),這樣 比起之前的 count() ,我們只需要執(zhí)行一條簡單的主鍵查詢(或者更優(yōu))就可以拿到實時的未讀消息數(shù)了。

更優(yōu)的方案:建立計數(shù)器
首先,讓我們得建立一個新表來存儲每個用戶的未讀消息數(shù)。

class UserNotificationsCount(models.Model):
  """這個Model保存著每一個用戶的未讀消息數(shù)目"""

  user_id = models.IntegerField(primary_key=True)
  unread_count = models.IntegerField(default=0)

  def __str__(self):
    return '<UserNotificationsCount %s: %s>' % (self.user_id, self.unread_count)

我們?yōu)槊恳粋€注冊用戶提供了一條對應(yīng)的 UserNotificationsCount 記錄來保存他的未讀消息數(shù)。 每次獲取他的未讀消息數(shù)的時候,只需要 UserNotificationsCount.objects.get(pk=user_id).unread_count 就可以了。

接下來,問題的重點來了,我們?nèi)绾沃朗裁磿r候應(yīng)該更新我們的計數(shù)器?Django在這方面提供了什么捷徑嗎?

挑戰(zhàn):實時更新你的計數(shù)器

為了讓我們的計數(shù)器正常的工作,我們必須實時的更新它,這包括:

  • 當(dāng)有新的未讀消息過來的時候,為計數(shù)器 +1
  • 當(dāng)消息被異常刪除時,如果關(guān)聯(lián)的消息為未讀,為計數(shù)器 -1
  • 當(dāng)閱讀完一個新消息的時候,為計數(shù)器 -1

讓我們一個一個來解決這些情況。

在拋出解決方案之前,我們需要先介紹Django中的一個功能: Signals ,Signals是django提供的一個事件通知機制,它可以讓你在監(jiān)聽某些自定義或者 預(yù)設(shè)的事件,當(dāng)這些事件發(fā)生的時候,調(diào)用實現(xiàn)定義好的方法。

比如 django.db.models.signals.pre_save & django.db.models.signals.post_save 表示的是 某個Model調(diào)用save方法之前和之后會觸發(fā)的事件,它和Database提供的觸發(fā)器在功能上有一點相似。

關(guān)于Signals更多的介紹可以參考官方文檔,下面讓我們來看看Signals能給我們的計數(shù)器帶來什么好處。

1. 當(dāng)有新的消息過來的時候,為計數(shù)器 +1

這個情況應(yīng)該是最好處理的,使用Django的Signals,只需要短短幾行代碼,我們便可以實現(xiàn)這種 情況下的計數(shù)器更新:

from django.db.models.signals import post_save, post_delete

def incr_notifications_counter(sender, instance, created, **kwargs):
  # 只有當(dāng)這個instance是新創(chuàng)建,而且has_readed是默認(rèn)的false才更新
  if not (created and not instance.has_readed):
    return

  # 調(diào)用 update_unread_count 方法來更新計數(shù)器 +1
  NotificationController(instance.user_id).update_unread_count(1)

# 監(jiān)聽Notification Model的post_save信號
post_save.connect(incr_notifications_counter, sender=Notification)

這樣,每當(dāng)你使用 Notification.create 或者 .save() 之類的方法創(chuàng)建新通知 時,我們的 NotificationController 便會得到通知,為計數(shù)器 +1。

但是請注意,因為我們的計數(shù)器是基于Django的signals,如果你的代碼里面有地方 在使用原始sql,沒有通過Django ORM方法來添加新通知的話,我們的計數(shù)器是不會得到 通知的,所以,最好規(guī)范所有的新通知建立方式,比如使用同一個API。

2. 當(dāng)消息被異常刪除時,如果關(guān)聯(lián)的消息為未讀,為計數(shù)器 -1

有了第一個的經(jīng)驗,這種情況處理起來也比較簡單,只需要監(jiān)控Notification的post_delete 信號就可以了,下面是一段實例代碼:

def decr_notifications_counter(sender, instance, **kwargs):
  # 當(dāng)刪除的消息還沒有被讀過時,計數(shù)器 -1
  if not instance.has_readed:
    NotificationController(instance.user_id).update_unread_count(-1)

post_delete.connect(decr_notifications_counter, sender=Notification)


至此,Notification的刪除事件也能正常的更新我們的計數(shù)器了。

3. 當(dāng)閱讀一個新消息的時候,為計數(shù)器 -1

接下來,當(dāng)用戶閱讀某條未讀消息的時候,我們也需要更新我們的未讀消息計數(shù)器。 你可能會說,這有什么難的?我只要在我的閱讀消息的方法里面,手動更新我的計數(shù)器不就好了?

比如這樣:

class NotificationController(object):

  ... ...

  def mark_as_readed(self, notification_id):
    notification = Notification.objects.get(pk=notification_id)
    # 沒有必要重復(fù)標(biāo)記一個已經(jīng)讀過的通知
    if notication.has_readed:
      return

    notification.has_readed = True
    notification.save()
    # 在這里更新我們的計數(shù)器,嗯,我感覺好極了
    self.update_unread_count(-1)

通過一些簡單的測試,你可以會覺得你的計數(shù)器工作的非常好,但是,這樣的實現(xiàn)方式有一個 非常致命的問題, 這個方式?jīng)]有辦法正常處理并發(fā)的請求 。

打一個比方,你擁有一個id為100的未讀消息對象,這個時候同時有了兩個請求過來,都要標(biāo)記這個通知為已讀:

# 因為兩個并發(fā)的請求,假設(shè)這兩個方法幾乎同時被調(diào)用
NotificationController(user_id).mark_as_readed(100)
NotificationController(user_id).mark_as_readed(100)

顯而易見的,這兩次方法都會成功的標(biāo)記這條通知為已讀,因為在并發(fā)的情況下, if notification.has_readed 這樣的檢查無法正常工作,所以我們的計數(shù)器將會被錯誤的 -1 兩次 ,但其實我們只讀了一條請求。

那么,這樣的問題應(yīng)該怎么解決呢?

基本上,解決并發(fā)請求產(chǎn)生的數(shù)據(jù)沖突只有一個辦法: 加鎖 ,介紹兩種比較簡單的解決方案:

使用 select for update 數(shù)據(jù)庫查詢

select ... for update 是數(shù)據(jù)庫層面上專門用來解決并發(fā)取數(shù)據(jù)后再修改的場景的,主流的關(guān)系數(shù)據(jù)庫 比如mysql、postgresql都支持這個功能, 新版的Django ORM甚至直接提供了這個功能的shortcut 。 關(guān)于它的更多介紹,你可以搜索你使用的數(shù)據(jù)庫的介紹文檔。

使用 select for update 后,我們的代碼可能會變成這樣:

from django.db import transaction

class NotificationController(object):

  ... ...

  def mark_as_readed(self, notification_id):
    # 手動讓select for update和update語句發(fā)生在一個完整的事務(wù)里面
    with transaction.commit_on_success():
      # 使用select_for_update來保證并發(fā)請求同時只有一個請求在處理,其他的請求
      # 等待鎖釋放
      notification = Notification.objects.select_for_update().get(pk=notification_id)
      # 沒有必要重復(fù)標(biāo)記一個已經(jīng)讀過的通知
      if notication.has_readed:
        return

      notification.has_readed = True
      notification.save()
      # 在這里更新我們的計數(shù)器,嗯,我感覺好極了
      self.update_unread_count(-1)

除了使用``select for update``這樣的功能,還有一個比較簡單的辦法來解決這個問題。

使用update來實現(xiàn)原子性修改

其實,更簡單的辦法,只要把我們的數(shù)據(jù)庫改成單條的update就可以解決并發(fā)情況下的問題了:

def mark_as_readed(self, notification_id):
    affected_rows = Notification.objects.filter(pk=notification_id, has_readed=False)\
                      .update(has_readed=True)
    # affected_rows將會返回update語句修改的條目數(shù)
    self.update_unread_count(affected_rows)

這樣,并發(fā)的標(biāo)記已讀操作也可以正確的影響到我們的計數(shù)器了。

高性能?
我們在之前介紹了如何實現(xiàn)一個能夠正確更新的未讀消息計數(shù)器,我們可能會直接使用UPDATE 語句來修改我們的計數(shù)器,就像這樣:

from django.db.models import F

def update_unread_count(self, count)
  # 使用Update語句來更新我們的計數(shù)器
  UserNotificationsCount.objects.filter(pk=self.user_id)\
                 .update(unread_count=F('unread_count') + count)

但是在生產(chǎn)環(huán)境中,這樣的處理方式很有可能造成嚴(yán)重的性能問題,因為如果我們的計數(shù)器在頻繁 更新的話,海量的Update會給數(shù)據(jù)庫造成不小的壓力。所以為了實現(xiàn)一個高性能的計數(shù)器,我們 需要把改動暫存起來,然后批量寫入到數(shù)據(jù)庫。

使用 redis 的 sorted set ,我們可以非常輕松的做到這一點。

使用sorted set來緩存計數(shù)器改動

redis是一個非常好用的內(nèi)存數(shù)據(jù)庫,其中的sorted set是它提供的一種數(shù)據(jù)類型:有序集合, 使用它,我們可以非常簡單的緩存所有的計數(shù)器改動,然后批量回寫到數(shù)據(jù)庫。

RK_NOTIFICATIONS_COUNTER = 'ss_pending_counter_changes'

def update_unread_count(self, count):
  """修改過的update_unread_count方法"""
  redisdb.zincrby(RK_NOTIFICATIONS_COUNTER, str(self.user_id), count)

# 同時我們也需要修改獲取用戶未讀消息數(shù)方法,使其獲取redis中那些沒有被回寫
# 到數(shù)據(jù)庫的緩沖區(qū)數(shù)據(jù)。在這里代碼就省略了

通過以上的代碼,我們把計數(shù)器的更新緩沖在了redis里面,我們還需要一個腳本來把這個緩沖區(qū) 里面的數(shù)據(jù)定時回寫到數(shù)據(jù)庫中。

通過自定義django的command,我們可以非常輕松的做到這一點:

# File: management/commands/notification_update_counter.py

# -*- coding: utf-8 -*-
from django.core.management.base import BaseCommand
from django.db.models import F

# Fix import prob
from notification.models import UserNotificationsCount
from notification.utils import RK_NOTIFICATIONS_COUNTER
from base_redis import redisdb

import logging
logger = logging.getLogger('stdout')


class Command(BaseCommand):
  help = 'Update UserNotificationsCounter objects, Write changes from redis to database'

  def handle(self, *args, **options):
    # 首先,通過 zrange 命令來獲取緩沖區(qū)所有修改過的用戶ID
    for user_id in redisdb.zrange(RK_NOTIFICATIONS_COUNTER, 0, -1):
      # 這里值得注意,為了保證操作的原子性,我們使用了redisdb的pipeline
      pipe = redisdb.pipeline()
      pipe.zscore(RK_NOTIFICATIONS_COUNTER, user_id)
      pipe.zrem(RK_NOTIFICATIONS_COUNTER, user_id)
      count, _ = pipe.execute()
      count = int(count)
      if not count:
        continue

      logger.info('Updating unread count user %s: count %s' % (user_id, count))
      UserNotificationsCount.objects.filter(pk=obj.pk)\
                     .update(unread_count=F('unread_count') + count)

之后,通過 python manage.py notification_update_counter 這樣的命令就可以把緩沖區(qū) 里面的改動批量回寫到數(shù)據(jù)庫了。我們還可以把這個命令配置到crontab中來定義執(zhí)行。

總結(jié)
文章到了這里,一個簡單的“高性能”未讀消息計數(shù)器算是實現(xiàn)完了。說了這么多,其實主要的知識點就是這么些:

使用Django的signals來獲取Model的新建/刪除操作更新
使用數(shù)據(jù)庫的select for update來正確處理并發(fā)的數(shù)據(jù)庫操作
使用redis的sorted set來緩存計數(shù)器的修改操作
希望能對您有所幫助。 :)

相關(guān)文章

  • Python 的迭代器與zip詳解

    Python 的迭代器與zip詳解

    本篇文章主要介紹Python 的迭代器與zip,可迭代對象的相關(guān)概念,有需要的小伙伴可以參考下,希望能夠給你帶來幫助
    2021-11-11
  • 利用Python產(chǎn)生加密表和解密表的實現(xiàn)方法

    利用Python產(chǎn)生加密表和解密表的實現(xiàn)方法

    這篇文章主要介紹了利用Python產(chǎn)生加密表和解密表的實現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-10-10
  • Python pygame實現(xiàn)中國象棋單機版源碼

    Python pygame實現(xiàn)中國象棋單機版源碼

    今天給大家?guī)淼氖顷P(guān)于Python實戰(zhàn)的相關(guān)知識,文章圍繞著用Python pygame實現(xiàn)中國象棋單機版展開,文中有非常詳細(xì)的代碼示例,需要的朋友可以參考下
    2021-06-06
  • Python新版極驗驗證碼識別驗證碼教程詳解

    Python新版極驗驗證碼識別驗證碼教程詳解

    這篇文章主要介紹了Python新版極驗驗證碼識別驗證碼,極驗驗證是一種在計算機領(lǐng)域用于區(qū)分自然人和機器人的,通過簡單集成的方式,為開發(fā)者提供安全、便捷的云端驗證服務(wù)
    2023-02-02
  • Python?常用模塊threading和Thread模塊之線程池

    Python?常用模塊threading和Thread模塊之線程池

    這篇文章主要介紹了Python?threading和Thread模塊之線程池,線程池如消費者,負(fù)責(zé)接收任務(wù),并將任務(wù)分配到一個空閑的線程中去執(zhí)行。并不關(guān)心是哪一個線程執(zhí)行的這個任務(wù),具體介紹需要的小伙伴可以參考下面文章詳細(xì)內(nèi)容
    2022-06-06
  • python?教程實現(xiàn)?turtle海龜繪圖

    python?教程實現(xiàn)?turtle海龜繪圖

    這篇文章主要介紹了python?教程實現(xiàn)?turtle繪制海龜繪圖,文章基于python的相關(guān)資料展開turtle繪制海龜繪圖的詳細(xì)內(nèi)容,需要的小伙伴可以參考一下
    2022-05-05
  • python 在mysql中插入null空值的操作

    python 在mysql中插入null空值的操作

    這篇文章主要介紹了python 在mysql中插入null空值的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • pytorch tensor int型除法出現(xiàn)的問題

    pytorch tensor int型除法出現(xiàn)的問題

    這篇文章主要介紹了pytorch tensor int型除法出現(xiàn)的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • python使用wmi模塊獲取windows下硬盤信息的方法

    python使用wmi模塊獲取windows下硬盤信息的方法

    這篇文章主要介紹了python使用wmi模塊獲取windows下硬盤信息的方法,涉及Python獲取系統(tǒng)硬件信息的相關(guān)技巧,需要的朋友可以參考下
    2015-05-05
  • 關(guān)于python中map函數(shù)的使用

    關(guān)于python中map函數(shù)的使用

    這篇文章主要介紹了關(guān)于python中map函數(shù)的使用,map函數(shù)也是python中的一個內(nèi)置函數(shù),用法同之前講過的filter函數(shù)類似,需要的朋友可以參考下
    2023-04-04

最新評論