欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Mysql存儲(chǔ)過程如何實(shí)現(xiàn)歷史數(shù)據(jù)遷移

 更新時(shí)間:2023年01月18日 14:51:45   作者:尋找桃子的果然  
這篇文章主要介紹了Mysql存儲(chǔ)過程如何實(shí)現(xiàn)歷史數(shù)據(jù)遷移,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

Mysql遷移歷史數(shù)據(jù)

記錄一下工作中由于業(yè)務(wù)需要以及系統(tǒng)的數(shù)據(jù)庫模型變更,導(dǎo)致需要做一下歷史數(shù)據(jù)遷移的解決辦法

需求陳述

  • 一共涉及到三張表,分別稱為A、B、C
  • 歷史數(shù)據(jù)在表A中。
  • A表中存的數(shù)據(jù)有兩部分,通過一個(gè)busi_reg_province_code 字段來區(qū)分
  • 一部分插入到B表,一部分插入到C表(就是用busi_reg_province_code來區(qū)分的兩部分)
  • 存入B中的部分,對(duì)于存入C中的部分是一對(duì)多的關(guān)系。(相當(dāng)于B是做個(gè)匯總,C是詳細(xì)情況)
  • 存入B的要計(jì)算存入C的某一字段值的總和

其實(shí)就是將一張表中的數(shù)據(jù),拆分分別存入B和C中。但是B和C是一對(duì)多的關(guān)系。

心路歷程

Step1

  • 說到數(shù)據(jù)遷移,第一想法就是通過insert into select 的語法形式來做數(shù)據(jù)遷移。
  • 但是因?yàn)锽是C數(shù)據(jù)的匯總,所以不免需要使用一些聚合函數(shù)做計(jì)算,還要分組。
  • 嗯~想想就頭大。
  • 嘗試著寫了一下以后,最后還是放棄了。(突然覺得自己對(duì)SQL是一無所知,菜的摳jio

Step2

  • 放棄了寫SQL,怎么辦呢?需求還得做。
  • 那作為一名JAVA開發(fā),于是寫一個(gè)接口的想法誕生了。
  • 整理一下思路,發(fā)現(xiàn)用JAVA寫,嗯~(會(huì)心一笑)還是很容易的。
  • 畢竟java8的流式處理還是很方便的。但是就在這時(shí),心里突然又覺得 emm~ 我這樣逃避好像也不好啊。
  • 沒有長進(jìn)都,而且這個(gè)接口就調(diào)用一次,屬實(shí)是有點(diǎn)不合適。
  • 所以覺得還是放棄JAVA方式。

Step3

  • 既然還是用SQL語句來寫,但是什么sum、count、group by、case when 摻在一起又那么復(fù)雜又理不清,可咋辦呢?
  • 那只好 必應(yīng)一下。剛好查到了存儲(chǔ)結(jié)構(gòu)
  • 但是此時(shí)思想還是停留在insert into select 的階段,但是因?yàn)橹麈I并不是自增的,這個(gè)主鍵的問題得解決。

整理一下問題:

  • 主鍵非自增,所以怎么賦值?
  • 需要計(jì)算總值的列怎么計(jì)算?
  • 怎么能寫一個(gè)SQL把兩個(gè)表都插入完成?

上面這幾個(gè)問題一出現(xiàn),似乎已經(jīng)沒辦法再使用insert into select的形式了。

所以只能一個(gè)一個(gè)循環(huán)處理。那怎么循環(huán)呢?

這個(gè)時(shí)候就行到了游標(biāo)??墒沁@兩個(gè)東西,不管是觸發(fā)器,還是游標(biāo)這個(gè)技能都已經(jīng)封存已久,一點(diǎn)不記得了。所以重新學(xué)習(xí)一下

學(xué)習(xí)參考了一下這個(gè)文章。我覺得寫的還是蠻細(xì)致的

最終實(shí)現(xiàn)

下面是我最終寫完的存儲(chǔ)過程。用了游標(biāo)的嵌套

#  --------------------------歷史數(shù)據(jù)遷移----------------------
# 刪除存儲(chǔ)過程
drop procedure if exists convertHistory;
# 創(chuàng)建一個(gè)存儲(chǔ)過程
create procedure convertHistory()
begin
  #   定義一個(gè)主鍵
  declare outerId bigint default (select min(RESOURCE_ID) from mkt_resource_conf);
  # 定義查詢插入的列
  declare caseName varchar(32);
  declare gradeId varchar(32);
  declare flowGrade bigint(10);
  declare allocateNum bigint(10);
  declare province varchar(8);
  declare flowUnit varchar(4);
  #   是否完成
  declare done int default false;
  # 創(chuàng)建游標(biāo)
  declare orignData cursor for select CASE_NAME,
                                      FLOW_GRADE,
                                      GRADE_ID,
                                      QUANTITY,
                                      BUSI_REG_PROVINCE_CODE,
                                      FLOW_UNIT
                               from prd_flow_info
                               where BUSI_REG_PROVINCE_CODE = '100';
  #   指定游標(biāo)循環(huán)結(jié)束時(shí)的返回值
  declare continue HANDLER FOR not found set done = true;
  #   把初始值ID減一個(gè)數(shù)目
  set outerId = outerId - 100;
  #   先把之前遷移的刪掉
  delete from mkt_resource_conf where REMARK = '歷史數(shù)據(jù)割接';
  #     刪掉之前的
  delete from mkt_resource_store_conf where REMARK = '歷史數(shù)據(jù)割接';
  # 打開游標(biāo)
  open orignData;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  while (not done) do
  #     具體的業(yè)務(wù)邏輯
  #     查詢的都是配置項(xiàng),那么插入到配置表
  #     配置項(xiàng)需要查詢一下該配置的總量
  select sum(QUANTITY)
  from prd_flow_info
  where FLOW_GRADE = flowGrade
    and BUSI_REG_PROVINCE_CODE = '99' into allocateNum;
  #     1、2G 的流量直接做轉(zhuǎn)換,轉(zhuǎn)為MB
  if flowUnit = 'G' then
    set flowGrade = flowGrade * 1024;
  end if;

  insert into mkt_resource_conf
  values (outerId, caseName, gradeId, flowGrade, allocateNum, allocateNum, 1, '沒什么說明', 'system', 'system', sysdate(),
          'system', 'system',
          sysdate(), '1', '歷史數(shù)據(jù)割接');
  #     查詢門店的配置,并且插入到門店的配置信息表
  #     這里就要寫一個(gè)嵌套的游標(biāo)了
  begin
    #       定義一個(gè)配置表的ID
    declare storeConfId bigint default (select min(STORE_CONF_ID) from mkt_resource_store_conf);
    declare storeCode varchar(32);
    declare alloNum bigint(10);
    declare usedNum bigint(10);
    declare storeDone int default false;
    declare storeName varchar(128);
    #     定義游標(biāo)
    declare storeData cursor for select store_code,QUANTITY,USE_NUM
                                 from prd_flow_info
                                 where GRADE_ID = gradeId
                                   and BUSI_REG_PROVINCE_CODE = '99';
    declare continue HANDLER FOR not found set storeDone = true;
    #     select gradeId;

    set storeConfId = storeConfId - 100;

    # 開始游標(biāo)了
    open storeData;
    fetch storeData into storeCode,alloNum,usedNum;

    while (not storeDone) do
    #       從表里查一下storeName,沒有就沒轍了
    select STORE_NAME from mkt_resource_store_conf where STORE_CODE = storeCode limit 1 into storeName;
    #       開始保存到門店配置表
    insert into `mkt_resource_store_conf` (`store_conf_id`, `resource_id`, `store_code`, `STORE_NAME`,
                                           `allocated_res_num`,
                                           `used_res_num`,
                                           `create_id`, `create_name`, `create_time`, `update_id`, `update_name`,
                                           `update_time`,
                                           `state`, `remark`)
    values (storeConfId, outerId, storeCode, storeName, alloNum, usedNum, 'system', 'system', sysdate(), 'system',
            'system',
            sysdate(),
            1, '歷史數(shù)據(jù)割接');
    commit ;
    #       ID -1
    set storeConfId = storeConfId - 1;
    fetch storeData into storeCode,alloNum,usedNum;
    end while;
    #     重置變量
    set storeDone = false;
    #     關(guān)閉內(nèi)層游標(biāo)
    close storeData;
  end;
  #   把初始值ID減一
  set outerId = outerId - 1;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  end while;
  #   關(guān)閉游標(biāo)
  close orignData;

  SELECT * FROM mkt_resource_conf where REMARK = '歷史數(shù)據(jù)割接';
  SELECT * FROM mkt_resource_store_conf where REMARK = '歷史數(shù)據(jù)割接';
end;

call convertHistory();

總結(jié)

沒開始的時(shí)候覺得會(huì)很難,但是真的邊學(xué)邊寫的時(shí)候,心情就會(huì)逐漸轉(zhuǎn)變。萬事開頭難說的不錯(cuò),一旦開始獲得正向反饋,問題也就慢慢的迎刃而解了。

其實(shí)這個(gè)寫的并不復(fù)雜,只是代碼比較長。

總結(jié)一下:

  • 首先要克服自己的心里恐懼
  • 定義存儲(chǔ)過程的語法declare procedure
  • 了解游標(biāo)及存儲(chǔ)過程的使用場(chǎng)景
  • 定義游標(biāo)的過程declare 游標(biāo)名 cursor for (select 語句)
  • 打開游標(biāo)open 游標(biāo)名 關(guān)閉游標(biāo)close 游標(biāo)名
  • 將游標(biāo)中查詢的字段事先定義好,然后通過fetch 游標(biāo)名 into 事先定義的變量 來獲得每一條數(shù)據(jù)(有點(diǎn)像ES6的generator,走一步踢一腳)
  • 變量賦值select xxx into 變量set xxx = 變量值
  • 其他的就是條件控制語句loop 、while、if、else

總的來說掌握基本語法,或者看一眼別人的格式,就可以模仿出來了。

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • MySQL單表ibd文件恢復(fù)方法詳解

    MySQL單表ibd文件恢復(fù)方法詳解

    隨著innodb的普及,innobackup也成為了主流備份方式。物理備份對(duì)于新建slave,全庫恢復(fù)的需求都能從容應(yīng)對(duì);但當(dāng)面臨單表數(shù)據(jù)誤刪,或者單表誤drop的情況,如果使用物理全備進(jìn)行恢復(fù)呢
    2012-11-11
  • MySQL主從復(fù)制延遲原因以及解決方案

    MySQL主從復(fù)制延遲原因以及解決方案

    這篇文章主要介紹了MySQL主從復(fù)制延遲原因以及解決方案,幫助大家更好的理解和使用數(shù)據(jù)庫,感興趣的朋友可以了解下
    2020-09-09
  • Window系統(tǒng)下自動(dòng)備份MySql數(shù)據(jù)庫方法

    Window系統(tǒng)下自動(dòng)備份MySql數(shù)據(jù)庫方法

    Window下可以使用Bat批處理文件來對(duì)MySql進(jìn)行備份操作,備份時(shí)一般數(shù)據(jù)量較大的情況可以使用復(fù)制文件的方式,但是這種方式要求服務(wù)器停機(jī)或者停止寫入命令,不大使用
    2012-11-11
  • 關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換注意事項(xiàng)的詳解

    關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換注意事項(xiàng)的詳解

    本篇文章是對(duì)關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換的注意事項(xiàng)進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下
    2013-06-06
  • 提升MySQL查詢效率及查詢速度優(yōu)化的四個(gè)方法詳析

    提升MySQL查詢效率及查詢速度優(yōu)化的四個(gè)方法詳析

    查詢語句的優(yōu)化是提高M(jìn)ySQL查詢速度的重要方法,可以通過使用JOIN語句、子查詢、優(yōu)化where子句等方式來減少查詢的時(shí)間,下面這篇文章主要給大家介紹了關(guān)于提升MySQL查詢效率及查詢速度優(yōu)化的四個(gè)方法,需要的朋友可以參考下
    2023-04-04
  • Mysql索引覆蓋的實(shí)現(xiàn)

    Mysql索引覆蓋的實(shí)現(xiàn)

    本文主要介紹了Mysql索引覆蓋的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • MySQL SELECT同時(shí)UPDATE同一張表問題發(fā)生及解決

    MySQL SELECT同時(shí)UPDATE同一張表問題發(fā)生及解決

    例如用統(tǒng)計(jì)數(shù)據(jù)更新表的字段(此時(shí)需要用group子句返回統(tǒng)計(jì)值),從某一條記錄的字段update另一條記錄,而不必使用非標(biāo)準(zhǔn)的語句,等等感興趣的朋友可以參考下哈
    2013-03-03
  • MySQL學(xué)習(xí)之事務(wù)與并發(fā)控制

    MySQL學(xué)習(xí)之事務(wù)與并發(fā)控制

    這篇文章主要介紹了MySQL中的事務(wù)與并發(fā)控制,一個(gè)事務(wù)可以理解為一組操作,這一組操作要么全部執(zhí)行,要么全部不執(zhí)行,想了解更多的小伙伴,可以參考閱讀本文
    2023-03-03
  • MySQL中InnoDB存儲(chǔ)引擎的鎖的基本使用教程

    MySQL中InnoDB存儲(chǔ)引擎的鎖的基本使用教程

    這篇文章主要介紹了MySQL中InnoDB存儲(chǔ)引擎的鎖的基本概念,是MySQL入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下
    2015-11-11
  • MySQL8.0中的窗口函數(shù)的示例代碼

    MySQL8.0中的窗口函數(shù)的示例代碼

    本文主要介紹了MySQL8.0中的窗口函數(shù)的示例代碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-03-03

最新評(píng)論