快捷導(dǎo)航

Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項目示例

更新時間：2022年04月20日 10:43:18 作者：crysw

在工作中，很多場景都會涉及到數(shù)據(jù)的導(dǎo)入導(dǎo)出，本文就介紹一下使用Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項目示例，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下

1. 介紹

在工作中 , 很多場景都會涉及到db數(shù)據(jù)的導(dǎo)入導(dǎo)出, 為了不影響正常業(yè)務(wù), 一般會選擇在夜間交易訪問量小的時候定時任務(wù)跑批進行數(shù)據(jù)的導(dǎo)入導(dǎo)出. 我們公司, 由于分為了不同區(qū)域的開發(fā)中心, 應(yīng)用系統(tǒng)也比較多, 所以業(yè)務(wù)相互關(guān)聯(lián)的各系統(tǒng)間的數(shù)據(jù)依賴, 我們是通過數(shù)據(jù)中臺做數(shù)據(jù)中轉(zhuǎn)的, 比如: A系統(tǒng)要做客戶信息的操作但自己沒有這部分信息, 客戶信息主要是B系統(tǒng)在維護, 這時候A系統(tǒng)就需要用到B系統(tǒng)的數(shù)據(jù).

方案就是B系統(tǒng)將客戶信息數(shù)據(jù)資源發(fā)布到數(shù)據(jù)中臺, 因為A系統(tǒng)向數(shù)據(jù)中臺訂閱了B系統(tǒng)的客戶信息資源 , 數(shù)據(jù)中臺會將客戶信息資源轉(zhuǎn)發(fā)到A系統(tǒng)服務(wù)器的指定目錄, 最后A系統(tǒng)只需要開發(fā)shell腳本將資源文件中的數(shù)據(jù)導(dǎo)入本地數(shù)據(jù)庫即可.

B系統(tǒng)需要A系統(tǒng)的業(yè)務(wù)數(shù)據(jù)也是一樣的道理, A系統(tǒng)只需要將業(yè)務(wù)數(shù)據(jù)資源發(fā)布到數(shù)據(jù)中臺,(A系統(tǒng)開發(fā)腳本將db數(shù)據(jù)導(dǎo)出為數(shù)據(jù)文件發(fā)送給數(shù)據(jù)中臺), B系統(tǒng)訂閱A系統(tǒng)的資源, 由數(shù)據(jù)中臺做資源的轉(zhuǎn)發(fā).

下面主要是總結(jié)工作中用到的shell腳本如何實現(xiàn)db數(shù)據(jù)的導(dǎo)入和導(dǎo)出, 數(shù)據(jù)中臺是一個企業(yè)級數(shù)據(jù)交換服務(wù)平臺, 這里就不詳細贅述了.

2. 導(dǎo)入數(shù)據(jù)到db2

將MY_CUSTOMER_INFO_[DATE].del文件數(shù)據(jù)導(dǎo)入MY_CUSTOMER_INFO表.

在這里插入圖片描述

3. 導(dǎo)出db2數(shù)據(jù)

將MY_CUSTOMER_INFO表的數(shù)據(jù)導(dǎo)出為MY_CUSTOMER_INFO_[DATE].del文件.

在這里插入圖片描述

導(dǎo)出數(shù)據(jù)也可以使用java程序先查詢數(shù)據(jù),然后通過IO流寫文件.

在這里插入圖片描述

4. 導(dǎo)入數(shù)據(jù)到mysql

將MY_CUSTOMER_INFO_[DATE].del文件數(shù)據(jù)導(dǎo)入MY_CUSTOMER_INFO表.

在這里插入圖片描述

導(dǎo)入數(shù)據(jù)部分, 如果null數(shù)據(jù)想使用空字符串替換, 可以使用NULLIF函數(shù)判斷后替換.

在這里插入圖片描述

5. 導(dǎo)出mysql數(shù)據(jù)

將MY_CUSTOMER_INFO表的數(shù)據(jù)導(dǎo)出為MY_CUSTOMER_INFO_[DATE].del文件.

在這里插入圖片描述

6. Java程序調(diào)用shell腳本

使用java.lang.Runtime類實現(xiàn)shell腳本的調(diào)用并執(zhí)行.

在這里插入圖片描述

7. 遇到的問題

(1) 上面Java程序調(diào)用并執(zhí)行shell腳本, 需要注意服務(wù)器系統(tǒng)類型是Linux還是AIX系統(tǒng), 不然傳入的參數(shù)無法接收到.

(2) windows環(huán)境(\r\n)和linux環(huán)境(\r)的換行符不一樣, 導(dǎo)致在windows系統(tǒng)編輯的shell腳本在Linux服務(wù)器上執(zhí)行報錯, 需要使用vim編輯器將\r\n替換為\r.

腳本格式設(shè)置, \r\n替換為\r.

:set ff=unix

腳本格式設(shè)置, \r替換為\r\n.

:set ff=dos

到此這篇關(guān)于Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項目示例的文章就介紹到這了,更多相關(guān)Shell導(dǎo)入導(dǎo)出數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: