Transactional replication(事務(wù)復(fù)制)詳解之如何跳過(guò)一個(gè)事務(wù)
在transactional replication, 經(jīng)常會(huì)遇到數(shù)據(jù)同步延遲的情況。有時(shí)候這些延遲是由于在publication中執(zhí)行了一個(gè)更新,例如update ta set col=? Where ?,這個(gè)更新包含巨大的數(shù)據(jù)量。在subscription端,這個(gè)更新會(huì)分解成多條命令(默認(rèn)情況下每個(gè)數(shù)據(jù)行一個(gè)命令),應(yīng)用到subscription上。 不得已的情況下,我們需要跳過(guò)這個(gè)大的事務(wù),讓replication繼續(xù)運(yùn)行下去。
現(xiàn)在介紹一下transactional replication的一些原理和具體的方法
當(dāng)publication database的article發(fā)生更新時(shí), 會(huì)產(chǎn)生相應(yīng)的日志,Log reader會(huì)讀取這些日志信息,將他們寫入到Distribution 數(shù)據(jù)庫(kù)的msrepl_transactions和msrepl_commands中。
Msrepl_transactions中的每一條記錄都有一個(gè)唯一標(biāo)識(shí)xact_seqno,xact_seqno對(duì)應(yīng)日志中的LSN。 所以可以通過(guò)xact_seqno推斷出他們?cè)趐ublication database中的生成順序,編號(hào)大的生成時(shí)間就晚,編號(hào)小的生成時(shí)間就早。
Distributionagent包含兩個(gè)子進(jìn)程,reader和writer。 Reader負(fù)責(zé)從Distribution 數(shù)據(jù)庫(kù)中讀取數(shù)據(jù),Writer負(fù)責(zé)將reader讀取的數(shù)據(jù)寫入到訂閱數(shù)據(jù)庫(kù).
reader是通過(guò)sp_MSget_repl_commands來(lái)讀取Distribution數(shù)據(jù)庫(kù)中(讀取Msrepl_transactions表和Msrepl_Commands表)的數(shù)據(jù)
下面是sp_MSget_repl_commands的參數(shù)定義
CREATE PROCEDURE sys.sp_MSget_repl_commands ( @agent_id int, @last_xact_seqno varbinary(16), @get_count tinyint = 0, -- 0 = no count, 1 = cmd and tran (legacy), 2 = cmd only @compatibility_level int = 7000000, @subdb_version int = 0, @read_query_size int = -1 )
這個(gè)存儲(chǔ)過(guò)程有6個(gè)參數(shù),在Transactional replication 中,只會(huì)使用前4個(gè)(并且第三個(gè)參數(shù)和第四個(gè)參數(shù)的值是固定不變的.分別為0和10000000)。下面是一個(gè)例子:
execsp_MSget_repl_commands 46,0x0010630F000002A900EA00000000,0,10000000
@agent_id表示Distributionagentid,每個(gè)訂閱都會(huì)有一個(gè)單獨(dú)的Distributionagent來(lái)處理數(shù)據(jù)。 帶入@agent_id后,就可以找到訂閱對(duì)應(yīng)的publication 和所有的article。
@last_xact_seqno 表示上一次傳遞到訂閱的LSN。
大致邏輯是:Reader讀取subscription database的MSreplication_subscriptions表的transaction_timestamp列,獲得更新的上一次LSN編號(hào),然后讀取分發(fā)數(shù)據(jù)庫(kù)中LSN大于這個(gè)編號(hào)的數(shù)據(jù)。 Writer將讀取到的數(shù)據(jù)寫入訂閱,并更新MSreplication_subscriptions表的transaction_timestamp列。然后Reader會(huì)繼續(xù)用新的LSN來(lái)讀取后續(xù)的數(shù)據(jù),再傳遞給Writer,如此往復(fù)。
如果我們手工更新transaction_timestamp列,將這個(gè)值設(shè)置為當(dāng)前正在執(zhí)行的大事務(wù)的LSN,那么distribution agent就會(huì)不讀取這個(gè)大事務(wù),而是將其跳過(guò)了。
下面以一個(gè)實(shí)例演示一下
環(huán)境如下
Publisher: SQL108W2K8R21
Distributor: SQL108W2K8R22
Subscriber: SQL108W2K8R23
圖中高亮的publication中包含3個(gè)aritcles,ta,tb,tc
其中ta包含18,218,200萬(wàn)數(shù)據(jù),然后我們進(jìn)行了一下操作
在11:00進(jìn)行了更新語(yǔ)句,
update ta set c=-11
后續(xù)陸續(xù)對(duì)表ta,tb,tc執(zhí)行一些插入操作
insert tb values(0,0)
insert tc values(0,0)
之后我們啟動(dòng)replication monitor ,發(fā)現(xiàn)有很大的延遲,distribution agent一直在傳遞a)操作產(chǎn)生的數(shù)據(jù)
在subscription database中執(zhí)行下面的語(yǔ)句,得到當(dāng)前最新記錄的事務(wù)編號(hào)
declare @publisher sysname declare @publicationDB sysname declare @publication sysname set @publisher='SQL108W2K8R22' set @publicationDB='pubdb' set @publication='pubdbtest2' select transaction_timestamp From MSreplication_subscriptions where publisher=@publisher and publisher_db=@publicationDB and publication=@publication
在我的環(huán)境中,事務(wù)編號(hào)為0x0000014900004E9A0004000000000000
返回到distribution database,執(zhí)行下面的語(yǔ)句,得到緊跟在大事務(wù)后面的事務(wù)編號(hào). 請(qǐng)將參數(shù)替換成您實(shí)際環(huán)境中的數(shù)據(jù)。(請(qǐng)注意,如果執(zhí)行下列語(yǔ)句遇到性能問(wèn)題,請(qǐng)將參數(shù)直接替換成值)
declare @publisher sysname declare @publicationDB sysname declare @publication sysname declare @transaction_timestamp [varbinary](16) set @publisher='SQL108W2K8R21' set @publicationDB='publicationdb2' set @publication='pubtest' set @transaction_timestamp= 0x0000014900004E9A0004000000000000 select top 1 xact_seqno from MSrepl_commands with (nolock) where xact_seqno>@transaction_timestamp and article_id in ( select article_id From MSarticles a inner join MSpublications p on a.publication_id=p.publication_id and a.publisher_id=p.publisher_id and a.publisher_db=p.publisher_db inner join sys.servers s on s.server_id=p.publisher_id where p.publication=@publication and p.publisher_db=@publicationDB and s.name=@publisher ) and publisher_database_id =( select id From MSpublisher_databases pd inner join MSpublications p on pd.publisher_id=p.publisher_id inner join sys.servers s on pd.publisher_id=s.server_id and pd.publisher_db=p.publisher_db where s.name=@publisher and p.publication=@publication and pd.publisher_db=@publicationDB ) Order by xact_seqno
在我的環(huán)境中,事務(wù)編號(hào)為0x0000018C000001000171
在subscription database中執(zhí)行下面的語(yǔ)句,跳過(guò)大的事務(wù)。請(qǐng)將參數(shù)替換成您實(shí)際環(huán)境中的數(shù)據(jù)
declare @publisher sysname declare @publicationDB sysname declare @publication sysname declare @transaction_timestamp [varbinary](16) set @publisher='SQL108W2K8R22' set @publicationDB='pubdb' set @publication='pubdbtest2' set @transaction_timestamp= 0x0000018C000001000171 update MSreplication_subscriptions set transaction_timestamp=@transaction_timestamp where publisher=@publisher and publisher_db=@publicationDB and publication=@publication
執(zhí)行完成后開(kāi)啟distribution agent job即可。
接下來(lái)您就會(huì)發(fā)現(xiàn),事務(wù)已經(jīng)成功跳過(guò),ta在訂閱端不會(huì)被更新,后續(xù)的更新會(huì)逐步傳遞到訂閱,延遲消失。
- spring 中事務(wù)注解@Transactional與trycatch的使用
- Spring事務(wù)注解@Transactional失效的八種場(chǎng)景分析
- 解決@Transactional注解事務(wù)不回滾不起作用的問(wèn)題
- Java注解@Transactional事務(wù)類內(nèi)調(diào)用不生效問(wèn)題及解決辦法
- Spring聲明式事務(wù)@Transactional知識(shí)點(diǎn)分享
- springboot中事務(wù)管理@Transactional的注意事項(xiàng)與使用場(chǎng)景
- 淺談Spring中@Transactional事務(wù)回滾及示例(附源碼)
- 基于Transactional事務(wù)的使用以及注意說(shuō)明
相關(guān)文章
SQLServer2000 報(bào)1053錯(cuò)誤(服務(wù)沒(méi)有及時(shí)響應(yīng)或控制請(qǐng)求)的解決方法
發(fā)生錯(cuò)誤 1053-(服務(wù)沒(méi)有及時(shí)響應(yīng)或控制請(qǐng)求。),此時(shí)正在 MSSQLServer 服務(wù)上執(zhí)行該服務(wù)操作。我立即上網(wǎng)查找相關(guān)信息,看見(jiàn)有人說(shuō)是更改windows用戶密碼后便出現(xiàn)此類問(wèn)題,但說(shuō)得都不是很明白,所以自己想總結(jié)一下2013-06-06sqlserver/mysql按天、按小時(shí)、按分鐘統(tǒng)計(jì)連續(xù)時(shí)間段數(shù)據(jù)【推薦】
最近小編接到這樣的需求,公司需要按天,按小時(shí)查看數(shù)據(jù),可以直觀的看到時(shí)間段的數(shù)據(jù)峰值。這篇文章主要介紹了sqlserver/mysql按天,按小時(shí),按分鐘統(tǒng)計(jì)連續(xù)時(shí)間段數(shù)據(jù) ,需要的朋友可以參考下2019-06-06SQL?Server2019安裝后出現(xiàn)連接失敗的解決方法
在開(kāi)發(fā)中我們經(jīng)常會(huì)用到SQL?Server,下面這篇文章主要給大家介紹了關(guān)于SQL?Server2019安裝后出現(xiàn)連接失敗的解決方法,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12SQL SERVER先判斷視圖是否存在然后再創(chuàng)建視圖的語(yǔ)句
SQL SERVER中先判斷視圖是否存在,使用IF NOT EXISTS,然后再創(chuàng)建視圖,使用create view,整個(gè)過(guò)程如下2014-08-08sp_executesql 使用復(fù)雜的Unicode 表達(dá)式錯(cuò)誤的解決方法
sp_executesql 使用復(fù)雜的Unicode 表達(dá)式錯(cuò)誤的解決方法,需要的朋友可以參考下2012-01-01SQL Server錯(cuò)誤代碼大全及解釋(留著備用)
SQL Server錯(cuò)誤代碼大全及解釋,以后遇到錯(cuò)誤就可以根據(jù)對(duì)照表查看了2012-06-06C#連接Excel2003和Excel2007以上版本做數(shù)據(jù)庫(kù)的連接字符串
C#連接Excel2003和Excel2007以上版本做數(shù)據(jù)庫(kù)的連接字符串具體如下,需要的朋友可以參考下2013-11-11MsSql 存儲(chǔ)過(guò)程分頁(yè)代碼 [收集多篇]
最近發(fā)現(xiàn)好多朋友看 mssql存儲(chǔ)過(guò)程分頁(yè)的代碼,特給大家整理了一些。希望對(duì)大家能有所幫助。2009-06-06