Oracle中部分不兼容對象遷移到OceanBase的三種處理方式
1、背景介紹
在進行國產化改造過程中,我們需要將 Oracle 數據庫遷移到 OceanBase(Oracle 模式)數據庫,雖然 OceanBase 對于 Oracle 兼容性已經足夠好,但依舊還有一些特殊語法或對象需要單獨處理,下面是遇到的一些不完全兼容對象的處理邏輯。
2、Oracle 中 LOB 類數據遷移到 OB 時的處理邏輯
Oracle 中 CLOB 和 BLOB 類型均可達到 4G 大?。ㄒ?Oracle 11.2 為例),而 OceanBase 數據庫當前版本(3.2.3.x)所支持的大對象數據類型的信息如下表所示:
類型 | BLOB | CLOB |
---|---|---|
長度 | 變長 | 變長 |
自定義長度上限(字符) | 48MB | 48MB |
字符集 | BINARY | 與租戶字符集一致 |
考慮到從 Oracle 遷移到 OceanBase,如果涉及 LOB 類字段,可能會存在當 LOB 數據大于 48M 時數據丟失的問題,需要提前發(fā)現這類數據并進行處理。
2.1 找到 Oracle 中 LOB 數據最大長度
我們可以構建一個實驗生成 CLOB 及 BLOB 類型數據,使用 Oracle 自帶的 DBMS_LOB
包獲取對應類型的最大值。
2.1.1 構建包含LOB類型的數據表
CREATE TABLE t_lob( c_ID NUMBER, c_clob CLOB, c_blob BLOB );
2.1.2 創(chuàng)建造數據存儲過程
隨機插入 100 條記錄到 t_lob
表。
CREATE OR REPLACE PROCEDURE insert_random_lob_data AS BEGIN DECLARE l_random_string VARCHAR2(10000); l_random_blob BLOB; BEGIN FOR i IN 1..100 LOOP l_random_string := dbms_random.string('U', dbms_random.value(1, 10000)); dbms_lob.createtemporary(l_random_blob, TRUE); dbms_lob.writeappend(l_random_blob, LENGTH(l_random_string), utl_raw.cast_to_raw(l_random_string)); INSERT INTO t_lob(c_ID, c_clob, c_blob) VALUES(i, l_random_string, l_random_blob); dbms_lob.freetemporary(l_random_blob); END LOOP; COMMIT; END; END; /
2.1.3 查詢該表中 CLOB 和 BLOB 字段的最大值
SELECT MAX(DBMS_LOB.GETLENGTH(C_CLOB)) AS LONGEST_CLOB, MAX(DBMS_LOB.GETLENGTH(C_BLOB)) AS LONGEST_BLOB FROM T_LOB;
2.2 獲取整個數據庫中 LOB 字段值較大的清單
排除了系統(tǒng)用戶,獲取 LOB 字段清單后再基于清單中的 LOB 字段單獨分析其最大值。
SELECT COL.OWNER, COL.TABLE_NAME, COL.COLUMN_NAME, COL.DATA_TYPE, COL.AVG_COL_LEN, COL.CHAR_LENGTH, TAB.NUM_ROWS FROM DBA_TABLES TAB, DBA_TAB_COLUMNS COL WHERE TAB.OWNER = COL.OWNER AND TAB.TABLE_NAME = COL.TABLE_NAME AND COL.DATA_TYPE IN ('CLOB', 'BLOB') AND COL.OWNER NOT IN ('SYS', 'SYSTEM') AND COL.OWNER IN (SELECT USERNAME FROM DBA_USERS WHERE ACCOUNT_STATUS = 'OPEN') AND COL.TABLE_NAME NOT LIKE 'BIN%';
3、Oracle 中 disable 約束在 OMS 遷移過程中的處理邏輯
在對 Oracle 中的約束類非表對象做一致性校驗時,發(fā)現部分約束在 OMS 遷移完成后丟失了,需要分析其 OMS 丟失的原因。
3.1 問題分析
從 OMS 界面中獲取 DDL 的語句可以看到有 2 個 WARN,且類型是 DISCARD,表示 OMS 判斷其是 DISABLE
狀態(tài)的約束,直接選擇了舍棄掉。
-- [WARN] [DISCARD] CONSTRAINT "PK_T_PARTKEY_IS_PK" PRIMARY KEY ("CRT_DTTM") DISABLE NOVALIDATE -> [NULL] -- [WARN] [DISCARD] CHECK ("ACT_ID" IS NOT NULL) DISABLE NOVALIDATE -> [NULL] CREATE TABLE "T_PARTKEY_IS_PK" ( "ACT_ID" NUMBER(10,0), "SRT_ID" NUMBER(10,0), "SRT_ORIGNAL_ID" NUMBER(10,0), "CRT_DTTM" DATE, "LASTUPT_DTTM" DATE )
3.2 問題結論
Oracle 側處于 DISABLE
狀態(tài)的約束通過 OMS 遷移時會被舍棄,不會在 OB 側創(chuàng)建,在對約束對象比對時,需要額外注意 Oracle 端約束的 status 是否處于 DISABLE
狀態(tài),本身對業(yè)務和功能沒有影響。
3.3 約束校驗時提前排除 DISABLE 的約束
可以通過以下語句觀測源端 Oracle 約束狀態(tài)。
-- 手工將T_PARTKEY_IS_PK表的約束都disable ALTER TABLE ZHENXING.T_PARTKEY_IS_PK DISABLE NOVALIDATE CONSTRAINT PK_T_PARTKEY_IS_PK; ALTER TABLE ZHENXING.T_PARTKEY_IS_PK DISABLE CONSTRAINT SYS_C0011109; SELECT OWNER, TABLE_NAME, CONSTRAINT_NAME, CONSTRAINT_TYPE, INDEX_NAME, STATUS FROM DBA_CONSTRAINTS WHERE OWNER = 'ZHENXING' AND TABLE_NAME = 'T_PARTKEY_IS_PK';
4、Oracle 中分區(qū)表遷移到 OB 后,帶有的自動分區(qū)屬性丟失
自動分區(qū)屬性是 Oracle 11g 的特性,可以用 INTERVAL 語法基于天、月、年做自動分區(qū)創(chuàng)建。 在通過 OMS 遷移到 OB 后,發(fā)現自動分區(qū)屬性丟失了,會導致當分區(qū)未自動創(chuàng)建時導致新增數據沒法寫入分區(qū)表,導致報錯。
4.1 問題分析
從 OMS 界面中獲取 DDL 的語句可以看到有 1 個 WARN,且類型是 DISCARD
,表示 OMS 判斷其不完全兼容,直接選擇了舍棄掉。
-- OMS 遷移表結構時記錄的WARN信息,表示自動分區(qū)屬性由于不兼容會自動DISCARD舍棄 [WARN] [DISCARD] INTERVAL (NUMTOYMINTERVAL (1,'MONTH')) -> [NULL]
4.2 問題結論
所以在 Oracle 遷移到 OB 前,需要把 Oracle 端存在自動分區(qū)屬性的表提前找出,避免由于遷移到 OB 后分區(qū)為未自動創(chuàng)建導致的數據無法插入的報錯,并且找出這類分區(qū)后,先在 Oracle 端創(chuàng)建足夠的多分區(qū),避免遷移過程中源端分區(qū)數增加導致比對不一致的情況。并記錄清單告知業(yè)務開發(fā)待后續(xù)用其他方式定期生成新分區(qū)。
4.3 如何找出 Oracle 中自動分區(qū)的表
4.3.1 Oracle 側模擬自動分區(qū)
-- 創(chuàng)建基于天的自動分區(qū)表 SQL> create table interval_sales ( prod_id number(6), time_id date) partition by range (time_id) INTERVAL(NUMTOYMINTERVAL(1, 'MONTH')) (partition p1 values less than (to_date('2015-01-01','yyyy-mm-dd'))); -- 查詢當前分區(qū),默認生成了1個定義好的分區(qū) SQL> SELECT TABLE_NAME, PARTITION_NAME FROM USER_TAB_PARTITIONS WHERE TABLE_NAME = 'INTERVAL_SALES'; TABLE_NAME PARTITION_NAME ------------------------------ ------------------------------ INTERVAL_SALES P1 -- 插入數據(不在默認分區(qū)內) SQL> INSERT INTO INTERVAL_SALES VALUES(001, TO_DATE('2015-02-01', 'yyyy-mm-dd')); -- 自動生成了新分區(qū) TABLE_NAME PARTITION_NAME ------------------------------ ------------------------------ INTERVAL_SALES P1 INTERVAL_SALES SYS_P221 -- 單獨查看該分區(qū)數據(驗證數據確實存在新分區(qū)) SQL> SELECT * FROM INTERVAL_SALES PARTITION(SYS_P221); PROD_ID TIME_ID ---------- --------- 1 01-FEB-15
4.3.2 統(tǒng)計 Oracle 側有哪些表是自動分區(qū)的表
/* PARTITION_COUNT: Number of partitions in the table. For interval partitioned tables, the value of this column is always 1048575. */ SELECT T1.OWNER, T1.TABLE_NAME, T1.INTERVAL, T1.PARTITIONING_TYPE, T1.PARTITION_COUNT, T1.SUBPARTITIONING_TYPE AS SUB_TYPE, T1.SUBPARTITIONING_KEY_COUNT SUB_COUNT, T1.STATUS FROM DBA_PART_TABLES T1 WHERE 1 = 1 AND TABLE_NAME NOT LIKE 'BIN%' AND (INTERVAL IS NOT NULL OR PARTITION_COUNT = 1048575);
總結
以上總結分析了 3 種 Oracle 對象和 OB 對象不兼容時的處理方法和提前統(tǒng)計發(fā)現的操作方式,在遷移前提前發(fā)現這類問題能有效避免在遷移過程中報錯的問題。
關于 SQLE
SQLE 是一款全方位的 SQL 質量管理平臺,覆蓋開發(fā)至生產環(huán)境的 SQL 審核和管理。支持主流的開源、商業(yè)、國產數據庫,為開發(fā)和運維提供流程自動化能力,提升上線效率,提高數據質量。
到此這篇關于Oracle中部分不兼容對象遷移到OceanBase的三種處理方式的文章就介紹到這了,更多相關Oracle對象遷移到OceanBase內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Oracle監(jiān)聽口令及監(jiān)聽器安全詳解
這篇文章主要介紹了Oracle監(jiān)聽口令及監(jiān)聽器安全的解決方法,需要的朋友可以參考下2014-07-07Oracle?Database?23c新特性之關聯更新和刪除示例詳解
這篇文章主要介紹了Oracle?Database?23c新特性之關聯更新和刪除的相關資料,Oracle database 23c開始支持在UPDATE和DELETE語句中使用JOIN連接,獲取更新和刪除的數據源,本文結合實例代碼給大家介紹的非常詳細,需要的朋友可以參考下2023-06-06Windows server 2008 R2(win7)登陸sqlplus錯誤ORA-12560和ORA-12557的解
這篇文章主要為大家詳細介紹了Windows server 2008 R2(win7)登陸sqlplus錯誤ORA-12560和ORA-12557的解決方法,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-05-05