MySQL分表實現(xiàn)上百萬上千萬記錄分布存儲的批量查詢設(shè)計模式詳解
我們知道可以將一個海量記錄的 MySQL 大表根據(jù)主鍵、時間字段，條件字段等分成若干個表甚至保存在若干服務(wù)器中。
唯一的問題就是跨服務(wù)器批量查詢麻煩，只能通過應(yīng)用程序來解決。談?wù)勗贘ava中的解決思路。其他語言原理類似。
這里說的分表不是 MySQL 5.1 的 partition，而是人為把一個表分開存在若干表或不同的服務(wù)器。
1. 應(yīng)用程序級別實現(xiàn)
見示意圖
electThreadManager 分表數(shù)據(jù)查詢管理器
它為分表的每個database or server 建立一個 thread pool
addTask() - 添加任務(wù)
stopTask() - 停止任務(wù)
getResult() - 獲取執(zhí)行結(jié)果
最快的執(zhí)行時間 = 最慢的 MySQL 節(jié)點查詢消耗時間
最慢的執(zhí)行時間 = 超時時間
某個 ThreadPool 忙時候處理流程
1. 假如 ThreadPoolN 非常忙，(也意味 DB N 非常忙)；
2. 新的查詢?nèi)蝿?wù)到來，addTask(), 新的任務(wù)的一個thread加到ThreadPoolN任務(wù)排隊中
3. 外層應(yīng)用已經(jīng)獲得其他 thread 返回結(jié)果，繼續(xù)等待
4. 外層應(yīng)用等待超時的時間到，調(diào)用 stopTask() 設(shè)置該任務(wù)全部 thread 中的停止標(biāo)志, 外層應(yīng)用返回。
5. 若干時間后，ThreadPoolN取到該排隊 Thread, 因為設(shè)置了停止位，線程直接運行完成。
2. JDBC 層實現(xiàn)
做一個 JDBC Driver 的包裝，攔截 PreparedStatement, Statement 的 executeQuery()
然后調(diào)用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于單張表的數(shù)據(jù)跨文件，批量查詢時候同樣存在上述問題，不過它是在 MySQL 內(nèi)部實現(xiàn)的，不需要外部調(diào)用者關(guān)心。其查詢實現(xiàn)的原理應(yīng)該大致類似。
但 partition 只解決了 IO 的瓶頸，并不能解決 CPU 計算的瓶頸，因此無法代替?zhèn)鹘y(tǒng)的手工分表方式。
相關(guān)文章
數(shù)據(jù)庫字段一定要設(shè)置為 not null,不然會有很大的bug，下面就一起來介紹一下，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
MySQL 在 Windows 下不區(qū)分大小寫，但在 Linux 下默認(rèn)是區(qū)分大小寫。如果你稍加不注意就會出現(xiàn)在本機(jī)開發(fā)的程序運行一切正常，發(fā)布到服務(wù)器行就出現(xiàn)表名找不到的問題，一頭霧水。2021-05-05
使用mss2sql工具將SqlServer轉(zhuǎn)換為Mysql全記錄
上篇文章我們講訴了在mssql數(shù)據(jù)轉(zhuǎn)換成mysql數(shù)據(jù)中，用Navicat Premium導(dǎo)入數(shù)據(jù)很完美，但是創(chuàng)建表的時候數(shù)據(jù)類型轉(zhuǎn)換不是很完美，本文我們來講訴下用mss2sql工具來創(chuàng)建表，順便說下導(dǎo)入數(shù)據(jù)2014-08-08
Mac系統(tǒng)下MySql下載MySQL5.7及詳細(xì)安裝圖解
這篇文章主要介紹了Mac系統(tǒng)下MySql下載MySQL5.7及詳細(xì)安裝圖解,本文圖文并茂給大家介紹的非常詳細(xì)，需要的朋友可以參考下2017-11-11
MySQL創(chuàng)建數(shù)據(jù)庫和創(chuàng)建數(shù)據(jù)表
MySQL?是最常用的數(shù)據(jù)庫，在數(shù)據(jù)庫操作中，基本都是增刪改查操作，簡稱CRUD。但是，這篇文章主要介紹了數(shù)據(jù)庫和數(shù)據(jù)表如何創(chuàng)建，想詳細(xì)了解的小伙伴可以參考閱讀一下2023-03-03
MYSQL基礎(chǔ)之連接MYSQL、修改密碼、添加用戶
在這篇文章中我們就從連接MYSQL、修改密碼、增加用戶等方面來學(xué)習(xí)一些MYSQL的常用命令。2008-08-08
要求MySQL能有的連接數(shù)量。當(dāng)主要MySQL線程在一個很短時間內(nèi)得到非常多的連接請求，這就起作用，然后主線程花些時間(盡管很短)檢查連接并且啟動一個新線程。2011-04-04
Windows server 2008 r2上安裝MySQL5.7.10步驟
這篇文章主要介紹了Windows server 2008 r2上安裝MySQL5.7.10的相關(guān)資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-01-01
Mysql數(shù)據(jù)庫中datetime、bigint、timestamp來表示時間選擇,誰來存儲時間效率最高
這篇文章主要介紹了Mysql數(shù)據(jù)庫中datetime、bigint、timestamp來表示時間選擇,誰來存儲時間效率最高,針對這一問題每人回答方式各不相同，下面分享下我的個人想法,需要的朋友可以參考下2021-08-08
mysql group_concat()函數(shù)用法總結(jié)
這篇文章主要介紹了mysql group_concat()函數(shù)用法,結(jié)合實例形式較為詳細(xì)的group_concat()函數(shù)的功能、使用方法與相關(guān)注意事項,需要的朋友可以參考下2016-06-06