欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL分庫(kù)分表id主鍵處理方式

 更新時(shí)間:2025年02月18日 10:13:33   作者:趙廣陸  
文章主要討論了在分庫(kù)分表后如何生成全局唯一的ID,包括基于數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方案、UUID、獲取系統(tǒng)當(dāng)前時(shí)間和Snowflake算法,并對(duì)其優(yōu)缺點(diǎn)和適用場(chǎng)景進(jìn)行了分析

MySQL分庫(kù)分表id主鍵處理

1 問題分析

分庫(kù)分表之后,id 主鍵如何處理?

其實(shí)這是分庫(kù)分表之后你必然要面對(duì)的一個(gè)問題,就是 id 咋生成?因?yàn)橐欠殖啥鄠€(gè)表之后,每個(gè)表都是從 1 開始累加,那肯定不對(duì)啊,需要一個(gè)全局唯一的 id 來支持。所以這都是你實(shí)際生產(chǎn)環(huán)境中必須考慮的問題。

2 面試題回答

2.1 基于數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方案

數(shù)據(jù)庫(kù)自增 id

這個(gè)就是說你的系統(tǒng)里每次得到一個(gè) id,都是往一個(gè)庫(kù)的一個(gè)表里插入一條沒什么業(yè)務(wù)含義的數(shù)據(jù),然后獲取一個(gè)數(shù)據(jù)庫(kù)自增的一個(gè) id。拿到這個(gè) id 之后再往對(duì)應(yīng)的分庫(kù)分表里去寫入。

這個(gè)方案的好處就是方便簡(jiǎn)單,誰都會(huì)用;缺點(diǎn)就是單庫(kù)生成自增 id,要是高并發(fā)的話,就會(huì)有瓶頸的;如果你硬是要改進(jìn)一下,那么就專門開一個(gè)服務(wù)出來,這個(gè)服務(wù)每次就拿到當(dāng)前 id 最大值,然后自己遞增幾個(gè) id,一次性返回一批 id,然后再把當(dāng)前最大 id 值修改成遞增幾個(gè) id 之后的一個(gè)值;但是無論如何都是基于單個(gè)數(shù)據(jù)庫(kù)。

適合的場(chǎng)景:你分庫(kù)分表就倆原因,要不就是單庫(kù)并發(fā)太高,要不就是單庫(kù)數(shù)據(jù)量太大;除非是你并發(fā)不高,但是數(shù)據(jù)量太大導(dǎo)致的分庫(kù)分表擴(kuò)容,你可以用這個(gè)方案,因?yàn)榭赡苊棵胱罡卟l(fā)最多就幾百,那么就走單獨(dú)的一個(gè)庫(kù)和表生成自增主鍵即可。

2.2 UUID

好處就是本地生成,不要基于數(shù)據(jù)庫(kù)來了;不好之處就是,UUID 太長(zhǎng)了、占用空間大,作為主鍵性能太差了;更重要的是,UUID 不具有有序性,會(huì)導(dǎo)致 B+ 樹索引在寫的時(shí)候有過多的隨機(jī)寫操作(連續(xù)的 ID 可以產(chǎn)生部分順序?qū)懀?,還有,由于在寫的時(shí)候不能產(chǎn)生有順序的 append 操作,而需要進(jìn)行 insert 操作,將會(huì)讀取整個(gè) B+ 樹節(jié)點(diǎn)到內(nèi)存,在插入這條記錄后會(huì)將整個(gè)節(jié)點(diǎn)寫回磁盤,這種操作在記錄占用空間比較大的情況下,性能下降明顯。

適合的場(chǎng)景:如果你是要隨機(jī)生成個(gè)什么文件名、編號(hào)之類的,你可以用 UUID,但是作為主鍵是不能用 UUID 的。

UUID.randomUUID().toString().replace(“-”, “”) -> sfsdf23423rr234sfdaf

2.3 獲取系統(tǒng)當(dāng)前時(shí)間

這個(gè)就是獲取當(dāng)前時(shí)間即可,但是問題是,并發(fā)很高的時(shí)候,比如一秒并發(fā)幾千,會(huì)有重復(fù)的情況,這個(gè)是肯定不合適的?;揪筒挥每紤]了。

適合的場(chǎng)景:一般如果用這個(gè)方案,是將當(dāng)前時(shí)間跟很多其他的業(yè)務(wù)字段拼接起來,作為一個(gè) id,如果業(yè)務(wù)上你覺得可以接受,那么也是可以的。你可以將別的業(yè)務(wù)字段值跟當(dāng)前時(shí)間拼接起來,組成一個(gè)全局唯一的編號(hào)。

2.4 snowflake 算法

snowflake 算法是 twitter 開源的分布式 id 生成算法,采用 Scala 語言實(shí)現(xiàn),是把一個(gè) 64 位的 long 型的 id,1 個(gè) bit 是不用的,用其中的 41 bit 作為毫秒數(shù),用 10 bit 作為工作機(jī)器 id,12 bit 作為序列號(hào)。

  • 1 bit:不用,為啥呢?因?yàn)槎M(jìn)制里第一個(gè) bit 為如果是 1,那么都是負(fù)數(shù),但是我們生成的 id 都是正數(shù),所以第一個(gè) bit 統(tǒng)一都是 0。
  • 41 bit:表示的是時(shí)間戳,單位是毫秒。41 bit 可以表示的數(shù)字多達(dá) 2^41 - 1,也就是可以標(biāo)識(shí) 2^41 - 1 個(gè)毫秒值,換算成年就是表示69年的時(shí)間。
  • 10 bit:記錄工作機(jī)器 id,代表的是這個(gè)服務(wù)最多可以部署在 2^10臺(tái)機(jī)器上哪,也就是1024臺(tái)機(jī)器。但是 10 bit 里 5 個(gè) bit 代表機(jī)房 id,5 個(gè) bit 代表機(jī)器 id。意思就是最多代表 2^5個(gè)機(jī)房(32個(gè)機(jī)房),每個(gè)機(jī)房里可以代表 2^5 個(gè)機(jī)器(32臺(tái)機(jī)器)。
  • 12 bit:這個(gè)是用來記錄同一個(gè)毫秒內(nèi)產(chǎn)生的不同 id,12 bit 可以代表的最大正整數(shù)是 2^12 - 1 = 4096,也就是說可以用這個(gè) 12 bit 代表的數(shù)字來區(qū)分同一個(gè)毫秒內(nèi)的 4096 個(gè)不同的 id。

0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000

public class IdWorker {

    private long workerId;
    private long datacenterId;
    private long sequence;

    public IdWorker(long workerId, long datacenterId, long sequence) {
        // sanity check for workerId
        // 這兒不就檢查了一下,要求就是你傳遞進(jìn)來的機(jī)房id和機(jī)器id不能超過32,不能小于0
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(
                    String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(
                    String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
        }
        System.out.printf(
                "worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
                timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);

        this.workerId = workerId;
        this.datacenterId = datacenterId;
        this.sequence = sequence;
    }

    private long twepoch = 1288834974657L;

    private long workerIdBits = 5L;
    private long datacenterIdBits = 5L;

    // 這個(gè)是二進(jìn)制運(yùn)算,就是 5 bit最多只能有31個(gè)數(shù)字,也就是說機(jī)器id最多只能是32以內(nèi)
    private long maxWorkerId = -1L ^ (-1L << workerIdBits);

    // 這個(gè)是一個(gè)意思,就是 5 bit最多只能有31個(gè)數(shù)字,機(jī)房id最多只能是32以內(nèi)
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
    private long sequenceBits = 12L;

    private long workerIdShift = sequenceBits;
    private long datacenterIdShift = sequenceBits + workerIdBits;
    private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);

    private long lastTimestamp = -1L;

    public long getWorkerId() {
        return workerId;
    }

    public long getDatacenterId() {
        return datacenterId;
    }

    public long getTimestamp() {
        return System.currentTimeMillis();
    }

    public synchronized long nextId() {
        // 這兒就是獲取當(dāng)前時(shí)間戳,單位是毫秒
        long timestamp = timeGen();

        if (timestamp < lastTimestamp) {
            System.err.printf("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp);
            throw new RuntimeException(String.format(
                    "Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }

        if (lastTimestamp == timestamp) {
            // 這個(gè)意思是說一個(gè)毫秒內(nèi)最多只能有4096個(gè)數(shù)字
            // 無論你傳遞多少進(jìn)來,這個(gè)位運(yùn)算保證始終就是在4096這個(gè)范圍內(nèi),避免你自己傳遞個(gè)sequence超過了4096這個(gè)范圍
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) {
                timestamp = tilNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0;
        }

        // 這兒記錄一下最近一次生成id的時(shí)間戳,單位是毫秒
        lastTimestamp = timestamp;

        // 這兒就是將時(shí)間戳左移,放到 41 bit那兒;
        // 將機(jī)房 id左移放到 5 bit那兒;
        // 將機(jī)器id左移放到5 bit那兒;將序號(hào)放最后12 bit;
        // 最后拼接起來成一個(gè) 64 bit的二進(jìn)制數(shù)字,轉(zhuǎn)換成 10 進(jìn)制就是個(gè) long 型
        return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift)
                | (workerId << workerIdShift) | sequence;
    }

    private long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    private long timeGen() {
        return System.currentTimeMillis();
    }

    // ---------------測(cè)試---------------
    public static void main(String[] args) {
        IdWorker worker = new IdWorker(1, 1, 1);
        for (int i = 0; i < 30; i++) {
            System.out.println(worker.nextId());
        }
    }

}

怎么說呢,大概這個(gè)意思吧,就是說 41 bit 是當(dāng)前毫秒單位的一個(gè)時(shí)間戳,就這意思;然后 5 bit 是你傳遞進(jìn)來的一個(gè)機(jī)房 id(但是最大只能是 32 以內(nèi)),另外 5 bit 是你傳遞進(jìn)來的機(jī)器 id(但是最大只能是 32 以內(nèi)),剩下的那個(gè) 12 bit序列號(hào),就是如果跟你上次生成 id 的時(shí)間還在一個(gè)毫秒內(nèi),那么會(huì)把順序給你累加,最多在 4096 個(gè)序號(hào)以內(nèi)。

所以你自己利用這個(gè)工具類,自己搞一個(gè)服務(wù),然后對(duì)每個(gè)機(jī)房的每個(gè)機(jī)器都初始化這么一個(gè)東西,剛開始這個(gè)機(jī)房的這個(gè)機(jī)器的序號(hào)就是 0。然后每次接收到一個(gè)請(qǐng)求,說這個(gè)機(jī)房的這個(gè)機(jī)器要生成一個(gè) id,你就找到對(duì)應(yīng)的 Worker 生成。

利用這個(gè) snowflake 算法,你可以開發(fā)自己公司的服務(wù),甚至對(duì)于機(jī)房 id 和機(jī)器 id,反正給你預(yù)留了 5 bit + 5 bit,你換成別的有業(yè)務(wù)含義的東西也可以的。

這個(gè) snowflake 算法相對(duì)來說還是比較靠譜的,所以你要真是搞分布式 id 生成,如果是高并發(fā)啥的,那么用這個(gè)應(yīng)該性能比較好,一般每秒幾萬并發(fā)的場(chǎng)景,也足夠你用了。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • MySQL查看目前運(yùn)行狀況的兩種方法

    MySQL查看目前運(yùn)行狀況的兩種方法

    這篇文章給大家簡(jiǎn)單的介紹一下MySQL查看目前運(yùn)行狀況命令,希望文章對(duì)大家會(huì)帶來一些幫助
    2014-02-02
  • MySQL慢查詢?nèi)罩驹斀馀c性能優(yōu)化指南(總結(jié))

    MySQL慢查詢?nèi)罩驹斀馀c性能優(yōu)化指南(總結(jié))

    慢查詢?nèi)罩臼荕ySQL數(shù)據(jù)庫(kù)性能優(yōu)化的重要工具,通過分析慢查詢?nèi)罩?我們可以識(shí)別和解決那些影響數(shù)據(jù)庫(kù)性能的瓶頸問題,這篇文章主要介紹了MySQL慢查詢?nèi)罩驹斀馀c性能優(yōu)化指南,需要的朋友可以參考下
    2024-07-07
  • MySQL數(shù)據(jù)庫(kù)高級(jí)操作實(shí)戰(zhàn)(克隆表、清空表、創(chuàng)建臨時(shí)表及約束)

    MySQL數(shù)據(jù)庫(kù)高級(jí)操作實(shí)戰(zhàn)(克隆表、清空表、創(chuàng)建臨時(shí)表及約束)

    多年工作中積累整理的數(shù)據(jù)庫(kù)高級(jí)操作分享給大家,這篇文章主要給大家介紹了關(guān)于MySQL數(shù)據(jù)庫(kù)高級(jí)操作實(shí)戰(zhàn)的相關(guān)資料,其中包括克隆表、清空表、創(chuàng)建臨時(shí)表及約束等,需要的朋友可以參考下
    2023-06-06
  • MyCat環(huán)境搭建詳細(xì)教程

    MyCat環(huán)境搭建詳細(xì)教程

    這篇文章主要介紹了MyCat環(huán)境搭建詳細(xì)教程的相關(guān)資料,需要的朋友可以參考下
    2022-11-11
  • Mysql樹形遞歸查詢的實(shí)現(xiàn)方法

    Mysql樹形遞歸查詢的實(shí)現(xiàn)方法

    這篇文章主要給大家介紹了關(guān)于Mysql樹形遞歸查詢的實(shí)現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-02-02
  • Mysql中InnoDB與MyISAM索引差異詳解(最新整理)

    Mysql中InnoDB與MyISAM索引差異詳解(最新整理)

    InnoDB和MyISAM在索引實(shí)現(xiàn)和特性上有差異,包括聚集索引、非聚集索引、事務(wù)支持、并發(fā)控制、覆蓋索引、主鍵約束、外鍵支持和物理存儲(chǔ)結(jié)構(gòu)等方面,InnoDB更適合事務(wù)型應(yīng)用,而MyISAM適合只讀或讀多寫少的場(chǎng)景,本文介紹Mysql中InnoDB與MyISAM索引差異,感興趣的朋友一起看看吧
    2025-03-03
  • mysql建表常用的sql語句匯總

    mysql建表常用的sql語句匯總

    這篇文章主要給大家介紹了mysql建表常用的sql語句,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • MySQL GTID主備不一致的修復(fù)方案

    MySQL GTID主備不一致的修復(fù)方案

    這篇文章主要介紹了MySQL GTID主備不一致的修復(fù)方案,幫助大家更好的理解和學(xué)習(xí)使用MySQL數(shù)據(jù)庫(kù),感興趣的朋友可以了解下
    2021-04-04
  • Mysql刪除數(shù)據(jù)以及數(shù)據(jù)表的方法實(shí)例

    Mysql刪除數(shù)據(jù)以及數(shù)據(jù)表的方法實(shí)例

    這篇文章主要給大家介紹了關(guān)于Mysql刪除數(shù)據(jù)以及數(shù)據(jù)表的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • Mysql的MERGE存儲(chǔ)引擎詳解

    Mysql的MERGE存儲(chǔ)引擎詳解

    在本文里我們給大家整理了關(guān)于Mysql的MERGE存儲(chǔ)引擎的相關(guān)知識(shí)點(diǎn)內(nèi)容,有需要的讀者們學(xué)習(xí)下。
    2019-02-02

最新評(píng)論