簡(jiǎn)單記錄一下springboot引用kettle對(duì)接數(shù)據(jù)

第一步（這一步講述了下載kettle、創(chuàng)建數(shù)據(jù)庫連接、轉(zhuǎn)換等，如果這一步會(huì)的可以略過，直接看第二步）

先從kettle官網(wǎng)下載kettle，官網(wǎng)地址：https://sourceforge.net/projects/pentaho/

進(jìn)入官網(wǎng)后點(diǎn)擊files，選擇需要的版本進(jìn)行下載

下載完成后是一個(gè)壓縮包，免安裝的，選擇一個(gè)路徑，將壓縮包解壓，解壓后進(jìn)入到data-integration目錄，該目錄下有一個(gè)Spoon.bat文件，雙擊即可運(yùn)行

打開后界面是這樣的

然后選擇依次點(diǎn)擊文件->新建->轉(zhuǎn)換就可以編輯對(duì)接數(shù)據(jù)的邏輯了

在編輯對(duì)接程序之前，是需要先設(shè)置一下數(shù)據(jù)庫信息的，在這里說明一下，新解壓的kettle沒有oracle的驅(qū)動(dòng)，需要手動(dòng)的下載一個(gè)ojdbc的jar包放到\data-integration\lib目錄下，否則測(cè)試連接的時(shí)候會(huì)報(bào)錯(cuò)（以oracle的為例，如果是其他數(shù)據(jù)庫請(qǐng)忽略這一步，直接看下邊）

放好以后，需要關(guān)掉kettle重啟一下才行，我這里放的是ojdbc7，至于其他類型的數(shù)據(jù)庫我還沒有測(cè)試，不知道是不是也會(huì)出現(xiàn)這種情況，如果也出現(xiàn)這種情況的話，就下載一個(gè)相對(duì)應(yīng)的驅(qū)動(dòng)，放到data-integration\lib目錄下就行

接下來就是在新建的轉(zhuǎn)換當(dāng)中選擇工具->向?qū)?>創(chuàng)建數(shù)據(jù)庫連接向?qū)Вㄟ@一步可以將要讀取的數(shù)據(jù)庫和要寫入的數(shù)據(jù)庫都配置好，這樣在編寫對(duì)接邏輯的時(shí)候就不用在返回來重做這一步了）

根據(jù)向?qū)?，選擇要讀取的數(shù)據(jù)庫或者寫入的數(shù)據(jù)庫類型，給連接起個(gè)名字，點(diǎn)擊next

然后是配置數(shù)據(jù)庫信息，服務(wù)器主機(jī)名稱就是ip地址，tcp/ip端口就是數(shù)據(jù)庫的端口，例如oracle的就是1521，數(shù)據(jù)庫名稱就是數(shù)據(jù)庫的連接符，例如oracle的orcl，填好后繼續(xù)點(diǎn)擊next

然后會(huì)出現(xiàn)讓選擇數(shù)據(jù)表空間和索引表空間的步驟，這一步可以選擇不填，繼續(xù)點(diǎn)擊next，就到了最后一步，在這里填入數(shù)據(jù)庫的賬號(hào)密碼，點(diǎn)擊測(cè)試數(shù)據(jù)庫連接

編輯好數(shù)據(jù)庫后，接下來就是編輯對(duì)接邏輯了，這里就先簡(jiǎn)單的寫個(gè)步驟，復(fù)雜的需要自己慢慢體會(huì)

首先在窗口的左側(cè)核心對(duì)象下，從輸入標(biāo)簽中找到表輸入，雙擊或者拖拽都行，拖拽的話是往右側(cè)轉(zhuǎn)換里拖拽，這個(gè)表輸入就是要讀取的數(shù)據(jù)，然后關(guān)閉輸入標(biāo)簽，或者向下滑動(dòng)，找到輸出標(biāo)簽，從輸出標(biāo)簽中找到插入/更新，同樣以雙擊或拖拽的方式加入到轉(zhuǎn)換里，這個(gè)是要寫入的數(shù)據(jù)，然后按住shift鍵，先點(diǎn)擊表輸入，再點(diǎn)擊插入/更新，這樣這個(gè)節(jié)點(diǎn)就創(chuàng)建好了

創(chuàng)建好節(jié)點(diǎn)連接后，就需要編輯表輸入和插入/更新了，表輸入就是要讀取的數(shù)據(jù)，插入/更新就是要寫入的數(shù)據(jù)，雙擊表輸入

雙擊更新/插入

當(dāng)這兩個(gè)編輯好后，保存一下，就會(huì)生成一個(gè)ktr文件。

至此，在可視化界面中創(chuàng)建ktr文件的步驟就完成了

第二步，將生成的ktr文件集成到springboot里面

首先需要注意的是，相關(guān)依賴一定要引用全了，不然運(yùn)行時(shí)會(huì)出現(xiàn)很多異常，我就是這樣，公司同時(shí)給的代碼，在他那里可以運(yùn)行，到我這里以后就各種異常往外報(bào)，耗費(fèi)一天的時(shí)間，終于可以進(jìn)行數(shù)據(jù)對(duì)接了，下面記錄一下需要引入的依賴

<!--kettle相關(guān)依賴-->
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-core</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-dbdialog</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
<!--以上三個(gè)是最主要的依賴，相關(guān)jar包可以從kettle官網(wǎng)下載的下來的工具里面找，具體路徑是：\kettle\data-integration\lib\下面，版本就對(duì)應(yīng)上下載的工具版本就行,下面的是其他一些相關(guān)引用-->
 <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>29.0-jre</version>
        </dependency>
        <dependency>
            <groupId>pentaho</groupId>
            <artifactId>metastore</artifactId>
            <version>9.1.0.6-517</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-vfs2</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.5</version>
        </dependency>
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.9</version>
        </dependency>
        <!--kettle相關(guān)依賴-->

至于對(duì)接的代碼就比較簡(jiǎn)單了，網(wǎng)上到處都有，這里我也記錄一下吧

try {
            //初始化kettle　　　　　　  //如果初始化失敗，當(dāng)加載完ktr文件后，會(huì)報(bào)database type with plugin id [Oracle] couldn't be found!
            KettleEnvironment.init();
        } catch (KettleException e1) {
            e1.printStackTrace();
        }try {
            //加載kettle的ktr文件
            String url=this.getClass().getClassLoader().getResource("test.ktr").getPath();
            System.out.println("########################"+url);
            TransMeta transMeta = new TransMeta(url);
            transMeta.setLogLevel(LogLevel.DEBUG);
            Trans trans = new Trans(transMeta);
            trans.prepareExecution(null);
            trans.startThreads();
            trans.waitUntilFinished();
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        }

總結(jié)：其實(shí)kettle集成到springboot里面沒有多少代碼，這個(gè)功能最主要的還是ktr文件的編寫，只要ktr編寫好了，放到指定文件夾下，寫個(gè)定時(shí)任務(wù)就完事了，如果以上內(nèi)容有什么不對(duì)的地方，還望各路大神指出，我加以修正

到此這篇關(guān)于springboot引用kettle實(shí)現(xiàn)對(duì)接oracle數(shù)據(jù)的文章就介紹到這了,更多相關(guān)springboot集成kettle對(duì)接oracle數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論