欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL主從復(fù)制與讀寫(xiě)分離的使用示例

 更新時(shí)間:2023年09月25日 10:54:12   作者:我不道??;  
在企業(yè)應(yīng)用中,成熟的業(yè)務(wù)通常數(shù)據(jù)量都比較大,所以需要配置多臺(tái)主從數(shù)據(jù)服務(wù)器以實(shí)現(xiàn)讀寫(xiě)分離,本文主要介紹了MySQL主從復(fù)制與讀寫(xiě)分離的使用示例,感興趣的可以了解一下

概述:

在企業(yè)應(yīng)用中,成熟的業(yè)務(wù)通常數(shù)據(jù)量都比較大。

單臺(tái)mysql在安全性、高可用性和高并發(fā)方面都無(wú)法滿足實(shí)際的需求。

配置多臺(tái)主從數(shù)據(jù)服務(wù)器以實(shí)現(xiàn)讀寫(xiě)分離。

主從復(fù)制:解決高可用問(wèn)題

讀寫(xiě)分離:解決高并發(fā)的問(wèn)題 

一、主從復(fù)制原理

1、MySql支持從復(fù)制類(lèi)型

 基于語(yǔ)句的復(fù)制(statement)

在主服務(wù)器上執(zhí)行的sql語(yǔ)句,在從服務(wù)器執(zhí)行同樣的語(yǔ)句。mysql默認(rèn)采用的方式。效率高。

基于行的復(fù)制 (ROW)

把改變的內(nèi)容復(fù)制過(guò)去。

基于混合類(lèi)型復(fù)制 (MIXED)

默認(rèn)采用基于語(yǔ)句的復(fù)制,一旦發(fā)現(xiàn)基于語(yǔ)句無(wú)法精確復(fù)制時(shí),就會(huì)采用基于行的復(fù)制。

2、主從復(fù)制的原理

  • 首先client端(tomcat)將數(shù)據(jù)寫(xiě)入到master節(jié)點(diǎn)的數(shù)據(jù)庫(kù)中,master節(jié)點(diǎn)會(huì)通知存儲(chǔ)引擎提交事務(wù),同時(shí)會(huì)將數(shù)據(jù)以(基于行、基于SQL、基于混合)的方式保存在二進(jìn)制文件中。
  • slave節(jié)點(diǎn)會(huì)開(kāi)啟 I/O 線程,用于監(jiān)聽(tīng)master的二進(jìn)制日志的更新,一旦發(fā)生更新內(nèi)容,則向master的dump線程發(fā)出同步請(qǐng)求。
  • master的dump線程在接收到salve的I/O請(qǐng)求后,會(huì)讀取二進(jìn)制日志文件中更新的數(shù)據(jù),并發(fā)送給slave的I/O線程。
  • slave的I/O線程接收到數(shù)據(jù)后,會(huì)保存在slave節(jié)點(diǎn)的中繼日志中。
  • 同時(shí),slave節(jié)點(diǎn)中的SQL線程,會(huì)讀取中繼日志中的數(shù)據(jù),更新在本地的mysql數(shù)據(jù)庫(kù)中
  • 最終,完成slave---> 復(fù)制master數(shù)據(jù),達(dá)到主從同步的效果。

中繼日志通常會(huì)位于OS緩存中,所以中繼日志的開(kāi)銷(xiāo)很小。

復(fù)制過(guò)程有一個(gè)很重要的限制,即復(fù)制在slave上時(shí)串行化的,也就是說(shuō),master上的并行更新操作不能再slave上并行操作。

兩日志

  • 二進(jìn)制文件: 記錄數(shù)據(jù)庫(kù)變動(dòng)的信息(語(yǔ)句、變動(dòng)記錄)
  • 中繼日志文件: 用于臨時(shí)存放二進(jìn)制文件內(nèi)容。

三線程

  • dump線程: ①監(jiān)聽(tīng)I(yíng)/O線程請(qǐng)求。②將二進(jìn)制日志文件更新的數(shù)據(jù)發(fā)送給slave的I/O線程。
  • I/O線程: ①監(jiān)聽(tīng)master主機(jī)的二進(jìn)制文件。②向master的dump線程發(fā)出同步請(qǐng)求
  • SQL線程: 讀取中繼日志中的文件,更新到本機(jī)的數(shù)據(jù)庫(kù)。

3、mysql主從復(fù)制延遲

  • master服務(wù)器高并發(fā),形成大量事務(wù)
  • 網(wǎng)絡(luò)延遲主
  • 從硬件設(shè)備導(dǎo)致(cpu主頻、內(nèi)存io、硬盤(pán)io)
  • mysql默認(rèn)使用異步復(fù)制。 可以?xún)?yōu)化mysql參數(shù)。 比如增大innodb_buffer_pool_size,讓更多操作在mysql內(nèi)存中完成。 從庫(kù)還可以使用高性能主機(jī) ,包括cpu強(qiáng)悍、內(nèi)存加大,避免使用虛擬云主機(jī),使用物理主機(jī),這樣升級(jí)了I/O方面性。 還可以將從庫(kù)使用SSD磁盤(pán)。 網(wǎng)絡(luò)優(yōu)化,。避免跨機(jī)房使用。

異步、同步、半同步復(fù)制:

異步復(fù)制

MySQL復(fù)制默認(rèn)是異步復(fù)制,Master將事件寫(xiě)入binlog,提交事務(wù),自身并不知道slave是否接收是否處理;

缺點(diǎn):不能保證所有事務(wù)都被所有slave接收。

同步復(fù)制

Master提交事務(wù),直到事務(wù)在所有slave都已提交,才會(huì)返回客戶(hù)端事務(wù)執(zhí)行完畢信息;

缺點(diǎn):完成一個(gè)事務(wù)可能造成延遲。

半同步復(fù)制

介于異步復(fù)制和全同步復(fù)制之間,主庫(kù)在執(zhí)行完客戶(hù)端提交的事務(wù)后不是立刻返回給客戶(hù)端,而是等待至少一個(gè)從庫(kù)接收到并寫(xiě)到relay log中才返回給客戶(hù)端。

缺點(diǎn):造成了一定程度的延遲。半同步復(fù)制最好在低延時(shí)的網(wǎng)絡(luò)中使用。

二、搭建主從復(fù)制:

實(shí)驗(yàn)前提:

關(guān)防火墻和安全機(jī)制

 1.時(shí)間同步:

1.主節(jié)點(diǎn):
yum -y install chrony
#時(shí)間同步協(xié)議,下載資源包
vim /etc/chrony.conf
 server ntp.aliyun.com
 allow 192.168.88.0/24
 30行添加 允許同步的網(wǎng)段
systemctl start chrony
#重啟natp服務(wù)
2. 兩臺(tái)從節(jié)點(diǎn):
yum -y install chrony
systemctl start chrony
 /usr/sbin/ntpdate 192.168.88.100
#時(shí)間同步指向主master服務(wù)器
crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.88.100
#寫(xiě)入周期計(jì)劃任務(wù),每30分鐘同步一次時(shí)間

2.master主服務(wù)設(shè)置:

vim /etc/my.cnf
server-id=1    #server-id不能重復(fù)
log-bin=master-bin   #添加,主服務(wù)器開(kāi)啟二進(jìn)制文件
binlog_format = MIXED #指定二進(jìn)制日志的格式為MIXED
log-slave-updates=true    #添加,允許從服務(wù)器更新二進(jìn)制文件
systemctl restart mysqld
#重啟mysqld服務(wù)
mysql -uroot -p
#登錄數(shù)據(jù)庫(kù)
grant replication slave on *.* to 'myslave'@'192.168.88.%' identified by '123456';
#允許192.168.88.0網(wǎng)段的所有主機(jī)使用myslave賬號(hào)和123456密碼登錄并使用庫(kù)和表
flush privileges;
#將用戶(hù)和權(quán)限配置保存在內(nèi)存中
show master status;
#查看master服務(wù)器當(dāng)前正在執(zhí)行的二進(jìn)制日志位置,和列偏移量

3.slave從服務(wù)器的配置:

兩臺(tái)從配置都一樣,注意,server-id   #修改,id不能相同

vim /etc/my.cnf
server-id=2   #修改,id不能與master相同,兩個(gè)slave也不能相同
relay-log=relay-log-bin   #添加,開(kāi)啟中繼日志,從服務(wù)器上同步master服務(wù)器日志文件到本地
relay-log-index=slave-relay-bin.index  #添加,定義中繼日志文件的位置和名稱(chēng)
relay_log_recovery=1    #選配項(xiàng)
#當(dāng) slave 從庫(kù)宕機(jī)后,假如 relay-log 損壞了,導(dǎo)致一部分中繼日志沒(méi)有處理,則自動(dòng)放棄所有未執(zhí)行的 relay-log,并且重新從 master 上獲取日志,這樣就保證了relay-log 的完整性。默認(rèn)情況下該功能是關(guān)閉的,將 relay_log_recovery 的值設(shè)置為 1 時(shí), 可在 slave 從庫(kù)上開(kāi)啟該功能,建議開(kāi)啟
systemctl restart mysqld
#啟動(dòng)mysqld服務(wù)器
mysql -uroot -p123456
#登錄數(shù)據(jù)庫(kù)
change master to 
master_host='192.168.88.100',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603;
#配置同步,注意master_log_file 和master_log_pos的值要與master查詢(xún)的一致。
start slave;
#開(kāi)啟同步,如有報(bào)錯(cuò)執(zhí)行 reset slave;
show slave status\G
#查看slave狀態(tài)(查看I/O和SQL都為YES)

4.驗(yàn)證:

主創(chuàng)建表,并寫(xiě)入數(shù)據(jù):

從進(jìn)行了復(fù)制:

三、讀寫(xiě)分離原理

讀寫(xiě)分離就是只在主服務(wù)器上寫(xiě),只在從服務(wù)器上讀,

基本的原理是讓主數(shù)據(jù)庫(kù)處理事務(wù)操作,而從數(shù)據(jù)庫(kù)處理select查詢(xún),數(shù)據(jù)庫(kù)復(fù)制被用來(lái)把主數(shù)據(jù)庫(kù)上事務(wù)性操作導(dǎo)致的變更同步到集群中的從數(shù)據(jù)庫(kù)。

1、讀寫(xiě)分離存在的意義

  • 因?yàn)閿?shù)據(jù)庫(kù)的 “寫(xiě)” (寫(xiě)10000條數(shù)據(jù)可能要3分鐘),操作是比較耗時(shí)的。
  • 但是數(shù)據(jù)庫(kù)的 “讀” (讀10000條數(shù)據(jù)可能只要5秒中)。
  • 所謂讀寫(xiě)分離,解決的是,數(shù)據(jù)庫(kù)的寫(xiě)入,影響了查詢(xún)的效率。
  • 還可能因?yàn)殒i表的原因,進(jìn)行讀寫(xiě)分離。

2、什么時(shí)候要讀寫(xiě)分離? 

數(shù)據(jù)庫(kù)不一定要讀寫(xiě)分離,如果程序使用數(shù)據(jù)庫(kù)較多時(shí),而更新少,查詢(xún)多的情況下會(huì)考慮使用,利用數(shù)據(jù)庫(kù)主從同步,再通過(guò)讀寫(xiě)分離可以分擔(dān)數(shù)據(jù)庫(kù)的壓力,提高性能。

3、主從復(fù)制與讀寫(xiě)分離

在實(shí)際的生產(chǎn)環(huán)境中,對(duì)數(shù)據(jù)庫(kù)的讀和寫(xiě)都在同一個(gè)數(shù)據(jù)庫(kù)服務(wù)器中,是不能滿足實(shí)際需求的。無(wú)論時(shí)在安全性,高可能性還是高并發(fā)等各個(gè)方面都不是完全不能滿足實(shí)際需求的。因此,通過(guò)主從復(fù)制的方式來(lái)同步數(shù)據(jù),再通過(guò)讀寫(xiě)分離來(lái)提升數(shù)據(jù)庫(kù)的并發(fā)負(fù)載能力。優(yōu)點(diǎn)類(lèi)似于rsync,但是不同的是rsync是對(duì)磁盤(pán)文件做備份,而mysql主從復(fù)制時(shí)對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)、語(yǔ)句做備份。

4、MySql讀寫(xiě)分離類(lèi)型

4.1 基于程序代碼內(nèi)部實(shí)現(xiàn)

在代碼中根據(jù)select、insert進(jìn)行路由分類(lèi), 這類(lèi)方法也是目前生產(chǎn)環(huán)境應(yīng)用最廣泛的。優(yōu)點(diǎn):性能較好,因?yàn)樵诔绦虼a中實(shí)現(xiàn),不需要增加額外的設(shè)備為硬件開(kāi)支。缺點(diǎn):是需要開(kāi)發(fā)人員來(lái)實(shí)現(xiàn),運(yùn)維人員無(wú)從下手。但是并不是所有的應(yīng)用都適合在程序代碼中實(shí)現(xiàn)讀寫(xiě)分離,像一些大型的java應(yīng)用,如果在程序代碼中實(shí)現(xiàn)讀寫(xiě)分離對(duì)代碼改動(dòng)就較大。

4.2 基于中間代理層實(shí)現(xiàn)

代理一般位于客戶(hù)端和服務(wù)器之間,代理服務(wù)器接收到客戶(hù)端請(qǐng)求后通過(guò)判斷后轉(zhuǎn)發(fā)到后端數(shù)據(jù)庫(kù),有以下代表程序。

1、MySql-Proxy 、MySql-Proxy為MySQL開(kāi)源項(xiàng)目,通過(guò)其自帶的lua腳本進(jìn)行判斷。

2、Atlas 是由奇虎360的web平臺(tái)部基礎(chǔ)架構(gòu)團(tuán)隊(duì)開(kāi)發(fā)維護(hù)的一個(gè)基于mysql協(xié)議的數(shù)據(jù)中間層項(xiàng)目,它是在mysql-proxy0.8.2版本的基礎(chǔ)上。對(duì)于進(jìn)行了優(yōu)化,增加了一些新的功能特性,360內(nèi)部使用atlas運(yùn)行mysql業(yè)務(wù),每條承受的讀寫(xiě)請(qǐng)求數(shù)達(dá)幾十億條,支持事務(wù)以及存儲(chǔ)過(guò)程。

3、Amoeba。 由陳思儒開(kāi)發(fā),作者曾就職于阿里巴巴,該程序由java語(yǔ)言進(jìn)行開(kāi)發(fā),阿里巴巴將其應(yīng)用于生產(chǎn)環(huán)境,但它不支持事務(wù)和存儲(chǔ)過(guò)程。

Amoeba:是一個(gè)以mysql為底層的數(shù)據(jù)存儲(chǔ),并對(duì)應(yīng)提供mysql協(xié)議接口的proxy(代理),外號(hào)變形蟲(chóng)。

  • 讀取請(qǐng)求發(fā)送給從服務(wù)器是采用輪詢(xún)調(diào)度算法。
  • amoeba使用的java語(yǔ)言編寫(xiě),配置文件為xml
  • amoeba主要負(fù)責(zé)對(duì)外的一個(gè)代理ip
  • 訪問(wèn)這個(gè)ip時(shí),發(fā)送的請(qǐng)求為“寫(xiě)”請(qǐng)求,則會(huì)轉(zhuǎn)給主服務(wù)器。
  • 當(dāng)發(fā)送的請(qǐng)求為“讀”時(shí),會(huì)通過(guò)調(diào)度轉(zhuǎn)發(fā)給從服務(wù)器,使用輪詢(xún)算法,輪流分配給兩臺(tái)從服務(wù)器。
  • amoeba可以視為調(diào)度器,如果主服務(wù)器掛掉(單點(diǎn)故障),則會(huì)有HMA解決這個(gè)問(wèn)題。

四、讀寫(xiě)分離實(shí)驗(yàn)

做讀寫(xiě)分離必須要做好主從復(fù)制的的環(huán)境,因?yàn)樽x寫(xiě)分離是基于主從復(fù)制的基礎(chǔ)上去執(zhí)行的架構(gòu)。

 實(shí)驗(yàn)環(huán)境:

主服務(wù)器:192.168.88.100

從服務(wù)器1:192.168.88.101

從服務(wù)器2:192.168.88.103

Amoeba 服務(wù)器:192.168.88.104

因?yàn)榍懊娴闹鞣?wù)器和兩臺(tái)從服務(wù)器在前面主從復(fù)制的時(shí)候,已經(jīng)部署好了,現(xiàn)在進(jìn)行部署Amoeba代理服務(wù)器。

 1.JDK環(huán)境安裝:

Amoeba服務(wù)時(shí)基于jdk1.5開(kāi)發(fā)的,所有要使用jdk1.5或jdk1.6的版本,不建議使用高版本。

cp jdk-6u14-linux-x64.bin /usr/local
#將jdk安裝包復(fù)制到/usr/local目錄下
cd /usr/local/
#進(jìn)入local目錄
chmod +x jdk-6u14-linux-x64.bin
#給安裝包執(zhí)行文件
./jdk-6u14-linux-64.bin
#安裝jdk(按空格到最后一行,輸入yes按回車(chē))
mv jdk1.6.0_14 jdk1.6
#安裝好之后在本地目錄下生成jdk1.6.0_14目錄,將其該名,方便后續(xù)操作
vim /etc/profile   #編輯全局配置文件
export JAVA_HOME=/usr/local/jdk1.6   #輸出定義java的工作目錄
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib #輸出指定的java類(lèi)文件
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin #將java加入工作環(huán)境
export AMOEBA_HOME=/usr/local/amoeba #輸出定義的amoeba工作目錄
export PATH=$PATH:$AMOEBA_HOME/bin  #加入路徑環(huán)境變量
source /etc/profile
#執(zhí)行群居配置文件
java -version
#查看java版本信息

 2.安裝 Amoeba軟件:

mkdir /usr/local/amoeba
#創(chuàng)建amoeba的安裝目錄
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba
#將amoeba的安裝包解壓到/usr/local/amoeba目錄中
chmod -R 775 /usr/local/amoeba
#給amoeba目錄所有的權(quán)限
/usr/local/amoeba/bin/amoeba
#開(kāi)啟amoeba(如果顯示amoeba start |stop,則說(shuō)明完成)

 3. 三臺(tái)mysql主從服務(wù)器設(shè)置權(quán)限:

先在Master、Slave1、Slave2 的mysql上開(kāi)放權(quán)限給 Amoeba 訪問(wèn)

grant all on *.* to 'amoeba-wzw'@'192.168.88.%' identified by '123123';

4. 配置amoeba服務(wù):

vim /usr/local/amoeba/conf/amoeba.xml			#修改amoeba配置文件
--30行--
<property name="user">amoeba</property>
--32行-- 
<property name="password">123456</property>
--115行--
<property name="defaultPool">master</property>
--117-去掉注釋-
<property name="writePool">master</property>
<property name="readPool">slaves</property>
vim /usr/local/amoeba/conf/dbServers.xml								#修改數(shù)據(jù)庫(kù)配置文件
--23行--注釋掉  作用:默認(rèn)進(jìn)入test庫(kù) 以防m(xù)ysql中沒(méi)有test庫(kù)時(shí),會(huì)報(bào)錯(cuò)
<!-- <property name="schema">test</property> -->
--26--修改
<property name="user">amoeba-wzw</property>
--28-30--去掉注釋
<property name="password">123123</property>
--45--修改,設(shè)置主服務(wù)器的名Master
<dbServer name="master"  parent="abstractServer">
--48--修改,設(shè)置主服務(wù)器的地址
<property name="ipAddress">192.168.88.101</property>
--52--修改,設(shè)置從服務(wù)器的名slave1
<dbServer name="slave1"  parent="abstractServer">
--55--修改,設(shè)置從服務(wù)器1的地址
<property name="ipAddress">192.168.88.103</property>
--58--復(fù)制上面6行粘貼,設(shè)置從服務(wù)器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.80.12</property>
--65行--修改
<dbServer name="slaves" virtual="true">
--71行--修改
<property name="poolNames">slave1,slave2</property>
/usr/local/amoeba/bin/amoeba start&			#啟動(dòng)Amoeba軟件,按ctrl+c 返回
netstat -anpt | grep java					#查看8066端口是否開(kāi)啟,默認(rèn)端口為T(mén)CP 8066

5.測(cè)試:

  讀節(jié)點(diǎn)關(guān)閉slave

在主服務(wù)器上寫(xiě)入一條111數(shù)據(jù):

 到此這篇關(guān)于MySQL主從復(fù)制與讀寫(xiě)分離的使用示例的文章就介紹到這了,更多相關(guān)MySQL主從復(fù)制與讀寫(xiě)分離內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評(píng)論