詳解MySQL集群搭建
概述
MySQL Cluster 是MySQL 適合于分布式計(jì)算環(huán)境的高實(shí)用、可拓展、高性能、高冗余版本,其研發(fā)設(shè)計(jì)的初衷就是要滿足許多行業(yè)里的最嚴(yán)酷應(yīng)用要求,這些應(yīng)用中經(jīng)常要求數(shù)據(jù)庫(kù)運(yùn)行的可靠性要達(dá)到99.999%。MySQL Cluster允許在無共享的系統(tǒng)中部署“內(nèi)存中”數(shù)據(jù)庫(kù)集群,通過無共享體系結(jié)構(gòu),系統(tǒng)能夠使用廉價(jià)的硬件,而且對(duì)軟硬件無特殊要求。此外,由于每個(gè)組件有自己的內(nèi)存和磁盤,不存在單點(diǎn)故障。
實(shí)際上,MySQL集群是把一個(gè)叫做NDB的內(nèi)存集群存儲(chǔ)引擎集成與標(biāo)準(zhǔn)的MySQL服務(wù)器集成。它包含一組計(jì)算機(jī),每個(gè)都跑一個(gè)或者多個(gè)進(jìn)程,這可能包括一個(gè)MySQL服務(wù)器,一個(gè)數(shù)據(jù)節(jié)點(diǎn),一個(gè)管理服務(wù)器和一個(gè)專有的一個(gè)數(shù)據(jù)訪問程序。
MySQL Cluster能夠使用多種故障切換和負(fù)載平衡選項(xiàng)配置NDB存儲(chǔ)引擎,但在Cluster 級(jí)別上的存儲(chǔ)引擎上做這個(gè)最簡(jiǎn)單。以下為MySQL集群結(jié)構(gòu)關(guān)系圖,
MySQL從結(jié)構(gòu)看,由3類節(jié)點(diǎn)(計(jì)算機(jī)或進(jìn)程)組成,分別是:
管理節(jié)點(diǎn):用于給整個(gè)集群其他節(jié)點(diǎn)提供配置、管理、仲裁等功能。理論上通過一臺(tái)服務(wù)器提供服務(wù)就可以了。
數(shù)據(jù)節(jié)點(diǎn):MySQL Cluster的核心,存儲(chǔ)數(shù)據(jù)、日志,提供數(shù)據(jù)的各種管理服務(wù)。2個(gè)以上 時(shí)就能實(shí)現(xiàn)集群的高可用保證,DB節(jié)點(diǎn)增加時(shí),集群的處理速度會(huì)變慢。
SQL節(jié)點(diǎn)(API):用于訪問MySQL Cluster數(shù)據(jù),提供對(duì)外應(yīng)用服務(wù)。增加 API 節(jié)點(diǎn)會(huì)提高整個(gè)集群的并發(fā)訪問速度和整體的吞吐量,該節(jié)點(diǎn) 可以部署在Web應(yīng)用服務(wù)器上,也可以部署在專用的服務(wù)器上,也開以和DB部署在同一臺(tái)服務(wù)器上。
NDB引擎
MySQL Cluster 使用了一個(gè)專用的基于內(nèi)存的存儲(chǔ)引擎——NDB引擎,這樣做的好處是速度快, 沒有磁盤I/O的瓶頸,但是由于是基于內(nèi)存的,所以數(shù)據(jù)庫(kù)的規(guī)模受系統(tǒng)總內(nèi)存的限制, 如果運(yùn)行NDB的MySQL服務(wù)器一定要內(nèi)存夠大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多臺(tái)服務(wù)器上來實(shí)現(xiàn)數(shù)據(jù)的可靠性和擴(kuò)展性,理論上 通過配置2臺(tái)NDB的存儲(chǔ)節(jié)點(diǎn)就能實(shí)現(xiàn)整個(gè)數(shù)據(jù)庫(kù)集群的冗余性和解決單點(diǎn)故障問題。
缺陷
- 基于內(nèi)存,數(shù)據(jù)庫(kù)的規(guī)模受集群總內(nèi)存的大小限制
- 基于內(nèi)存,斷電后數(shù)據(jù)可能會(huì)有數(shù)據(jù)丟失,這點(diǎn)還需要通過測(cè)試驗(yàn)證。
- 多個(gè)節(jié)點(diǎn)通過網(wǎng)絡(luò)實(shí)現(xiàn)通訊和數(shù)據(jù)同步、查詢等操作,因此整體性受網(wǎng)絡(luò)速度影響,因此速度也比較慢
2.2 優(yōu)點(diǎn)
- 多個(gè)節(jié)點(diǎn)之間可以分布在不同的地理位置,因此也是一個(gè)實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)的方案。
- 擴(kuò)展性很好,增加節(jié)點(diǎn)即可實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群的擴(kuò)展。
- 冗余性很好,多個(gè)節(jié)點(diǎn)上都有完整的數(shù)據(jù)庫(kù)數(shù)據(jù),因此任何一個(gè)節(jié)點(diǎn)宕機(jī)都不會(huì)造成服務(wù)中斷。
實(shí)現(xiàn)高可用性的成本比較低,不象傳統(tǒng)的高可用方案一樣需要共享的存儲(chǔ)設(shè)備和專用的軟件才能實(shí)現(xiàn),NDB 只要有足夠的內(nèi)存就能實(shí)現(xiàn)。
本文將搭建一個(gè)最簡(jiǎn)化的MySQL Cluster系統(tǒng),配置方法中的所有命令都是以root賬戶運(yùn)行。這個(gè)MySQL Cluster包含一個(gè)管理結(jié)點(diǎn)、兩個(gè)數(shù)據(jù)結(jié)點(diǎn)、兩個(gè)SQL結(jié)點(diǎn),這五個(gè)結(jié)點(diǎn)會(huì)分別安裝在五個(gè)虛擬機(jī)上,虛擬機(jī)的名稱和IP如下所示:
一、公共配置
請(qǐng)?jiān)谌齻€(gè)虛擬機(jī)上分別配置此處的配置項(xiàng)。
1. 安裝虛擬機(jī)
虛擬機(jī)操作系統(tǒng)安裝CentOS 6.4的x86_64版本,使用NAT網(wǎng)絡(luò),并且還要安裝vmware-tools,具體安裝方法此處不詳述。
2. 拷貝mysql cluster
下載MySQL-Cluster:
下載得到的壓縮包拷貝至虛擬機(jī)的/root/Downloads目錄,然后在shell中運(yùn)行以下命令:
cd /root/Downloads tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql
3. 關(guān)閉安全策略
關(guān)閉iptables防火墻(或者打開防火墻的1186、3306端口),在Shell中運(yùn)行以下命令:
chkconfig --level 35 iptables off
關(guān)閉SELinux,在Shell中運(yùn)行以下命令:
gedit /etc/selinux/config
將config文件中的SELINUX項(xiàng)改為disabled,修改后的config文件的內(nèi)容如下:
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted
最后重啟系統(tǒng)
二、配置管理結(jié)點(diǎn)(192.168.124.141)
1. 配置config.ini配置文件
在shell中運(yùn)行以下命令:
mkdir /var/lib/mysql-cluster cd /var/lib/mysql-cluster gedit config.ini
配置文件config.ini內(nèi)容如下:
[ndbd default] NoOfReplicas=2 DataMemory=80M IndexMemory=18M [ndb_mgmd] NodeId=1 hostname=192.168.124.141 datadir=/var/lib/mysql-cluster [ndbd] NodeId=2 hostname=192.168.124.142 datadir=/usr/local/mysql/data [ndbd] NodeId=3 hostname=192.168.124.143 datadir=/usr/local/mysql/data [mysqld] NodeId=4 hostname=192.168.124.144 [mysqld] NodeId=5 hostname=192.168.124.145
2. 安裝管理結(jié)點(diǎn)
安裝管理節(jié)點(diǎn),不需要mysqld二進(jìn)制文件,只需要MySQL Cluster服務(wù)端程序(ndb_mgmd)和監(jiān)聽客戶端程序(ndb_mgm)。在shell中運(yùn)行以下命令:
cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin cd /usr/local/bin chmod +x ndb_mgm*
三、配置數(shù)據(jù)結(jié)點(diǎn)(192.168.124.142、192.168.124.143)
1. 添加mysql組和用戶
在shell中運(yùn)行以下命令:
groupadd mysql useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運(yùn)行以下命令:
gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
[mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock user=mysql # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [mysql_cluster] ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫(kù)
在shell中運(yùn)行以下命令:
cd /usr/local/mysql mkdir sock scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運(yùn)行以下命令:
chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運(yùn)行以下命令:
cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server
四、配置SQL結(jié)點(diǎn)(192.168.124.144、192.168.124.145)
1. 添加mysql組和用戶
在shell中運(yùn)行以下命令:
groupadd mysql useradd -g mysql mysql
2. 配置my.cnf配置文件
在shell中運(yùn)行以下命令:
gedit /etc/my.cnf
配置文件my.cnf的內(nèi)容如下:
[client] socket=/usr/local/mysql/sock/mysql.sock [mysqld] ndbcluster datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock ndb-connectstring=192.168.124.141 [mysql_cluster] ndb-connectstring=192.168.124.141
3. 創(chuàng)建系統(tǒng)數(shù)據(jù)庫(kù)
在shell中運(yùn)行以下命令:
cd /usr/local/mysql mkdir sock scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設(shè)置數(shù)據(jù)目錄
在shell中運(yùn)行以下命令:
chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql .
5. 配置MySQL服務(wù)
在shell中運(yùn)行以下命令:
cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server
五、Cluster環(huán)境啟動(dòng)
注意啟動(dòng)順序:首先是管理節(jié)點(diǎn),然后是數(shù)據(jù)節(jié)點(diǎn),最后是SQL節(jié)點(diǎn)。
1. 啟動(dòng)管理結(jié)點(diǎn)
在shell中運(yùn)行以下命令:
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
還可以使用ndb_mgm來監(jiān)聽客戶端,如下:
ndb_mgm
2. 啟動(dòng)數(shù)據(jù)結(jié)點(diǎn)
首次啟動(dòng),則需要添加--initial參數(shù),以便進(jìn)行NDB節(jié)點(diǎn)的初始化工作。在以后的啟動(dòng)過程中,則是不能添加該參數(shù)的,否則ndbd程序會(huì)清除在之前建立的所有用于恢復(fù)的數(shù)據(jù)文件和日志文件。
/usr/local/mysql/bin/ndbd --initial
如果不是首次啟動(dòng),則執(zhí)行下面的命令。
/usr/local/mysql/bin/ndbd
3. 啟動(dòng)SQL結(jié)點(diǎn)
若MySQL服務(wù)沒有運(yùn)行,則在shell中運(yùn)行以下命令:
/usr/local/mysql/bin/mysqld_safe --user=mysql &
4. 啟動(dòng)測(cè)試
查看管理節(jié)點(diǎn),啟動(dòng)成功
六、集群測(cè)試
1. 測(cè)試一
現(xiàn)在我們?cè)谄渲幸粋€(gè)SQL結(jié)點(diǎn)上進(jìn)行相關(guān)數(shù)據(jù)庫(kù)的創(chuàng)建,然后到另外一個(gè)SQL結(jié)點(diǎn)上看看數(shù)據(jù)是否同步。
在SQL結(jié)點(diǎn)1(192.168.124.144)上執(zhí)行:
shell> /usr/local/mysql/bin/mysql -u root -p mysql>show databases; mysql>create database aa; mysql>use aa; mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //這里必須指定數(shù)據(jù)庫(kù)表的引擎為NDB,否則同步失敗 mysql> INSERT INTO ctest2 () VALUES (1); mysql> SELECT * FROM ctest2;
然后在SQL結(jié)點(diǎn)2上看數(shù)據(jù)是否同步過來了
經(jīng)過測(cè)試,在非master上創(chuàng)建數(shù)據(jù),可以同步到master上
查看表的引擎是不是NDB,>show create table 表名;
2. 測(cè)試二
關(guān)閉一個(gè)數(shù)據(jù)節(jié)點(diǎn) ,在另外一個(gè)節(jié)點(diǎn)寫輸入,開啟關(guān)閉的節(jié)點(diǎn),看數(shù)據(jù)是否同步過來。
首先把數(shù)據(jù)結(jié)點(diǎn)1重啟,然后在結(jié)點(diǎn)2上添加數(shù)據(jù)
在SQL結(jié)點(diǎn)2(192.168.124.145)上操作如下:
mysql> create database bb; mysql> use bb; mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB; mysql> use aa; mysql> INSERT INTO ctest2 () VALUES (3333); mysql> SELECT * FROM ctest2;
等數(shù)據(jù)結(jié)點(diǎn)1啟動(dòng)完畢,啟動(dòng)數(shù)據(jù)結(jié)點(diǎn)1的服務(wù)
#/usr/local/mysql/bin/ndbd --initial#service mysqld start
然后登錄進(jìn)去查看數(shù)據(jù)
# /usr/local/mysql/bin/mysql -u root –p
可以看到數(shù)據(jù)已經(jīng)同步過來了,說明數(shù)據(jù)可以雙向同步了。
七、關(guān)閉集群
1. 關(guān)閉管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn),只需要在管理節(jié)點(diǎn)(ClusterMgm--134)里執(zhí)行:
Connected to Management Server at: localhost:1186 2 NDB Cluster node(s) have shutdown. Disconnecting to allow management server to shutdown.
顯示
Connected to Management Server at: localhost:1186 2 NDB Cluster node(s) have shutdown. Disconnecting to allow management server to shutdown.
2. 然后關(guān)閉Sql節(jié)點(diǎn)(135,136),分別在2個(gè)節(jié)點(diǎn)里運(yùn)行:
shell> /etc/init.d/mysql.server stop Shutting down MySQL... SUCCESS!
注意:要再次啟動(dòng)集群,就按照第五部分的啟動(dòng)步驟即可,不過這次啟動(dòng)數(shù)據(jù)節(jié)點(diǎn)的時(shí)候就不要加”-initial”參數(shù)了。
以上就是MySQL集群搭建過程,希望對(duì)大家自己動(dòng)手搭建MySQL集群有所幫助
相關(guān)文章
SQL語(yǔ)句多表聯(lián)查的實(shí)現(xiàn)方法示例
多表聯(lián)合檢索可以通過連接運(yùn)算來完成,而連接運(yùn)算又可以通過廣義笛卡爾積后再進(jìn),下面這篇文章主要給大家介紹了關(guān)于SQL語(yǔ)句多表聯(lián)查實(shí)現(xiàn)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04高效數(shù)據(jù)流轉(zhuǎn):Mycat分庫(kù)分表與GreatSQL實(shí)時(shí)同步
聚焦數(shù)據(jù)庫(kù)擴(kuò)容與實(shí)時(shí)數(shù)據(jù)同步,探索MyCat分庫(kù)分表與GreatSQL的強(qiáng)大結(jié)合!想在大規(guī)模數(shù)據(jù)處理中游刃有余?本指南將帶你輕松掌握MyCat的分布式解決方案和GreatSQL的實(shí)時(shí)同步機(jī)制,讓高效、穩(wěn)定的數(shù)據(jù)庫(kù)管理觸手可及,一起揭開高并發(fā)環(huán)境下數(shù)據(jù)庫(kù)優(yōu)化的神秘面紗吧!2024-01-01- 在講MySQL的Join語(yǔ)法前還是先回顧一下聯(lián)結(jié)的語(yǔ)法,呵呵,其實(shí)連我自己都忘得差不多了,那就大家一起溫習(xí)吧,這里我有個(gè)比較簡(jiǎn)便的記憶方法,內(nèi)外聯(lián)結(jié)的區(qū)別是內(nèi)聯(lián)結(jié)將去除所有不符合條件的記錄,而外聯(lián)結(jié)則保留其中部分。外左聯(lián)結(jié)與外右聯(lián)結(jié)的區(qū)別在于如果用A左聯(lián)結(jié)B則A中所有記錄都會(huì)保留在結(jié)果中,此時(shí)B中只有符合聯(lián)結(jié)條件的記錄,而右聯(lián)結(jié)相反,這樣也就不會(huì)混淆了。2014-05-05
MySQL和Oracle的元數(shù)據(jù)抽取實(shí)例分析
MySQL和Oracle雖然在架構(gòu)上有很大的不同,但是如果從某些方面比較起來,它們有些方面也是相通的,下面這篇文章主要給大家介紹了關(guān)于MySQL和Oracle元數(shù)據(jù)抽取的相關(guān)資料,需要的朋友可以參考下2021-12-12MySQL group by和left join并用解決方式
這篇文章主要介紹了MySQL group by和left join并用解決方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12