MySQL使用Replace操作時(shí)造成數(shù)據(jù)丟失的問(wèn)題解決
前言
公司開(kāi)發(fā)人員在更新數(shù)據(jù)時(shí)使用了 replace into 語(yǔ)句,由于使用不當(dāng)導(dǎo)致了數(shù)據(jù)的大量丟失,到底是如何導(dǎo)致的數(shù)據(jù)丟失本文對(duì)此進(jìn)行分析。
一、問(wèn)題說(shuō)明
公司開(kāi)發(fā)人員在更新數(shù)據(jù)時(shí)使用了 replace into 語(yǔ)句,由于使用不當(dāng)導(dǎo)致了數(shù)據(jù)的大量丟失,到底是如何導(dǎo)致的數(shù)據(jù)丟失現(xiàn)分析如下。
二、問(wèn)題分析
a. REPLACE 原理
REPLACE INTO 原理的官方解釋為:
REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.
如果新插入行的主鍵或唯一鍵在表中已經(jīng)存在,則會(huì)刪除原有記錄并插入新行;如果在表中不存在,則直接插入
地址:https://dev.mysql.com/doc/refman/5.6/en/replace.html
b. 問(wèn)題現(xiàn)象
丟失數(shù)據(jù)的表結(jié)構(gòu)如下:
CREATE TABLE `active_items` (
執(zhí)行的replace語(yǔ)句如下(多條):
REPLACE INTO active_items(ad_id,score) VALUES('XXXXXXX', 1800);
通過(guò)查詢(xún)binlog找到執(zhí)行記錄,部分如下:
### UPDATE `items`.`active_items` ### @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */
操作的ad_id已經(jīng)存在,因此先刪除后插入,可以看到除了指定的 ad_id,score,其他字段都變?yōu)槟J(rèn)值,導(dǎo)致原有數(shù)據(jù)丟失(雖然在日志中轉(zhuǎn)為了update)
c. 對(duì)比測(cè)試
接下來(lái)我進(jìn)行了如下測(cè)試:
- MySQL進(jìn)行Replace操作時(shí)造成數(shù)據(jù)丟失
- 左側(cè)使用 REPLACE 語(yǔ)句,右側(cè)使用 DELETE + INSERT 語(yǔ)句,最后結(jié)果完全相同
- 原主鍵id為1的行被刪除,新插入行主鍵id更新為4,沒(méi)有指定內(nèi)容的字段c則插入了默認(rèn)值
- 使用 REPLACE 更新了一行數(shù)據(jù),MySQL提示受影響行數(shù)為2行
綜上所述,說(shuō)明確實(shí)是刪除一行,插入一行
三、數(shù)據(jù)恢復(fù)
數(shù)據(jù)丟失或數(shù)據(jù)錯(cuò)誤后,可以有如下幾種方式恢復(fù):
- 業(yè)務(wù)方自己寫(xiě)腳本恢復(fù)
- 通過(guò)MySQL的binlog查出誤操作sql,生成反向sql進(jìn)行數(shù)據(jù)恢復(fù)(適合sql數(shù)據(jù)量較小的情況)
- 通過(guò)歷史備份文件+增量binlog將數(shù)據(jù)狀態(tài)恢復(fù)到誤操作的前一刻
四、問(wèn)題擴(kuò)展
通過(guò)上述分析可以發(fā)現(xiàn),REPLACE 會(huì)刪除舊行并插入新行,但是binlog中是以u(píng)pdate形式記錄,這樣就帶來(lái)另一個(gè)問(wèn)題:
從庫(kù)自增長(zhǎng)值小于主庫(kù)
1. 測(cè)試
a. 主從一致:
主庫(kù):
mysql> show create table tG
從庫(kù):
mysql> show create table tG
b. 主庫(kù)REPLACE:
主庫(kù):
mysql> replace into t (a,b)values(1,7);
從庫(kù):
mysql> show create table tG
注意此時(shí)主從兩個(gè)表的AUTO_INCREMENT值已經(jīng)不同了
c. 模擬從升主,在從庫(kù)進(jìn)行INSERT:
mysql> insert into t (a,b,c)values(4,4,4);
從庫(kù)插入時(shí)會(huì)報(bào)錯(cuò),主鍵重復(fù),報(bào)錯(cuò)后AUTO_INCREMENT會(huì) +1,因此再次執(zhí)行就可以成功插入
2. 結(jié)論
這個(gè)問(wèn)題在平時(shí)不會(huì)有絲毫影響,但是:
如果主庫(kù)平時(shí)大量使用 REPLACE 語(yǔ)句,造成從庫(kù) AUTO_INCREMENT 值落后主庫(kù)太大,當(dāng)主從發(fā)生切換后,再次插入數(shù)據(jù)時(shí)新的主庫(kù)就會(huì)出現(xiàn)大量主鍵重復(fù)報(bào)錯(cuò),導(dǎo)致數(shù)據(jù)無(wú)法插入。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。
- MySQL 數(shù)據(jù)丟失排查案例
- MySQL 丟失數(shù)據(jù)的原因及解決
- 解決docker重啟redis,mysql數(shù)據(jù)丟失的問(wèn)題
- Python3.6-MySql中插入文件路徑,丟失反斜杠的解決方法
- Mysql掛掉后無(wú)法重啟報(bào)pid文件丟失的解決方法
- 使用SKIP-GRANT-TABLES 解決 MYSQL ROOT密碼丟失
- MySQL下PID文件丟失的相關(guān)錯(cuò)誤的解決方法
- 防止服務(wù)器宕機(jī)時(shí)MySQL數(shù)據(jù)丟失的幾種方案
- MySQL遠(yuǎn)程連接丟失問(wèn)題解決方法(Lost connection to MySQL server)
- 記一次mysql字符串末尾空白丟失的排查
相關(guān)文章
mysql8新特性之binlog_expire_logs_seconds淺析
MySQL8中新增了不少新特性,這些特性提高了數(shù)據(jù)庫(kù)的安全性和性能,使數(shù)據(jù)庫(kù)管理員能夠更靈活地進(jìn)行賬戶(hù)管理工作,下面這篇文章主要給大家介紹了關(guān)于mysql8新特性之binlog_expire_logs_seconds的相關(guān)資料,需要的朋友可以參考下2023-02-02MySQL系列之十四 MySQL的高可用實(shí)現(xiàn)
這篇文章主要介紹了MySQL系列之十四 MySQL的高可用實(shí)現(xiàn),從工作原理到具體的技術(shù)實(shí)現(xiàn),本文詳細(xì)的講述了該項(xiàng)技術(shù),以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-07-07MySQL中使用SQL語(yǔ)句對(duì)字段進(jìn)行重命名
MySQL中,如何使用SQL語(yǔ)句來(lái)對(duì)表中某一個(gè)字段進(jìn)行重命名呢?我們將使用alter table 這一SQL語(yǔ)句,需要的朋友可以參考下2016-04-04解析mysql二進(jìn)制日志處理事務(wù)與非事務(wù)性語(yǔ)句的區(qū)別
本篇文章是對(duì)mysql二進(jìn)制日志處理事務(wù)與非事務(wù)性語(yǔ)句的區(qū)別進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06mysql數(shù)據(jù)庫(kù)從服務(wù)器移植到個(gè)人PC的方法
有時(shí)候本地也需要數(shù)據(jù)庫(kù)進(jìn)行測(cè)試,那么就需要將服務(wù)器的東西移植到本地,如果有服務(wù)器控制權(quán)限,可以直接復(fù)制mysql的目錄(windows下),如果是別的那么就需要下面的方法了。2011-08-08分享MYSQL插入數(shù)據(jù)時(shí)忽略重復(fù)數(shù)據(jù)的方法
當(dāng)程序中insert時(shí),已存在的數(shù)據(jù)不插入,不存在的數(shù)據(jù)insert。在網(wǎng)上搜了下,可以使用存儲(chǔ)過(guò)程或者是用NOT EXISTS 來(lái)判斷是否存在2013-09-09