可以在Java應(yīng)用中嵌入的數(shù)據(jù)引擎看起來比較豐富，但其實并不容易選擇。Redis計算能力很差，只適合簡單查詢的場景。Spark架構(gòu)復(fù)雜沉重，部署維護很是麻煩。H2\HSQLDB\Derby等內(nèi)嵌數(shù)據(jù)庫倒是架構(gòu)簡單，但計算能力又不足，連基本的窗口函數(shù)都不支持。

相比之下，SQLite在架構(gòu)性和計算能力上取得了較好的平衡，是應(yīng)用較廣的Java嵌入數(shù)據(jù)引擎。

SQLite適應(yīng)常規(guī)基本應(yīng)用場景

SQLite架構(gòu)簡單，其核心雖然是C語言開發(fā)的，但封裝得比較好，對外呈現(xiàn)為一個小巧的Jar包，能方便地集成在Java應(yīng)用中。SQLite提供了JDBC接口，可以被Java調(diào)用：

Connection connection = DriverManager.getConnection("jdbc:sqlite::memory:");
Statement st = connection.createStatement();
st.execute("restore from d:/ex1");
ResultSet rs = st.executeQuery("SELECT * FROM orders");

SQLite提供了標(biāo)準(zhǔn)的SQL語法，常規(guī)的數(shù)據(jù)處理和計算都沒有問題。特別地，SQLite已經(jīng)能支持窗口函數(shù)，可以方便地實現(xiàn)很多組內(nèi)運算，計算能力比其他內(nèi)嵌數(shù)據(jù)庫更強。

SELECT x, y, row_number() OVER (ORDER BY y) AS row_number FROM t0 ORDER BY x;
SELECT a, b, group_concat(b, '.') OVER ( ORDER BY a ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING) AS group_concat FROM t1;

SQLite面對復(fù)雜場景尚有不足

SQLite的優(yōu)點亮眼，但對于復(fù)雜應(yīng)用場景時還是有些缺點。

Java應(yīng)用可能處理的數(shù)據(jù)源多種多樣，比如csv文件、RDB、Excel、Restful，但SQLite只處理了簡單情況，即對csv等文本文件提供了直接可用的命令行加載程序：

.import --csv --skip 1 --schema temp /Users/scudata/somedata.csv tab1

對于其他大部分?jǐn)?shù)據(jù)源，SQLite都沒有提供方便的接口，只能硬寫代碼加載數(shù)據(jù)，需要多次調(diào)用命令行，整個過程很繁瑣，時效性也差。

以加載RDB數(shù)據(jù)源為例，一般的做法是先用Java執(zhí)行命令行，把RDB庫表轉(zhuǎn)為csv；再用JDBC訪問SQLite，創(chuàng)建表結(jié)構(gòu)；之后用Java執(zhí)行命令行，將csv文件導(dǎo)入SQLite；最后為新表建索引，以提高性能。這個方法比較死板，如果想靈活定義表結(jié)構(gòu)和表名，或通過計算確定加載的數(shù)據(jù)，代碼就更難寫了。

類似地，對于其他數(shù)據(jù)源，SQLite也不能直接加載，同樣要通過繁瑣地轉(zhuǎn)換過程才可以。

SQL接近自然語言，學(xué)習(xí)門檻低，容易實現(xiàn)簡單的計算，但不擅長復(fù)雜的計算，比如復(fù)雜的集合計算、有序計算、關(guān)聯(lián)計算、多步驟計算。SQLite采用SQL語句做計算，SQL優(yōu)點和缺點都會繼承下來，勉強實現(xiàn)這些復(fù)雜計算的話，代碼會顯得繁瑣難懂。

比如，某只股票最長的上漲天數(shù)，SQL要這樣寫：

select max(continuousDays)-1
from (select count(*) continuousDays
from (select sum(changeSign) over(order by tradeDate) unRiseDays
from (select tradeDate,
case when price>lag(price) over(order by tradeDate) then 0 else 1 end changeSign from AAPL) )
group by unRiseDays)

這也不單是SQLite的難題，事實上，由于集合化不徹底、缺乏序號、缺乏對象引用等原因，其他SQL數(shù)據(jù)庫也不擅長這些運算。

業(yè)務(wù)邏輯由結(jié)構(gòu)化數(shù)據(jù)計算和流程控制組成，SQLite支持SQL，具有結(jié)構(gòu)化數(shù)據(jù)計算能力，但SQLite沒有提供存儲過程，不具備獨立的流程控制能力，也就不能實現(xiàn)一般的業(yè)務(wù)邏輯，通常要利用Java主程序的判斷和循環(huán)語句。由于Java沒有專業(yè)的結(jié)構(gòu)化數(shù)據(jù)對象來承載SQLite數(shù)據(jù)表和記錄，轉(zhuǎn)換過程麻煩，處理過程不暢，開發(fā)效率不高。

前面提過，SQLite內(nèi)核是C程序，雖然可以被集成到Java應(yīng)用中，但并不能和Java無縫集成，和Java主程序交換數(shù)據(jù)時要經(jīng)過耗時的轉(zhuǎn)換才能完成，在涉及數(shù)據(jù)量較大或交互頻繁時性能就會明顯不足。同樣因為內(nèi)核是C程序，SQLite會在一定程度上破壞Java架構(gòu)的一致性和健壯性。

對于Java應(yīng)用來講，原生在JVM上的esProc SPL是更好的選擇。

SPL全面支持各種數(shù)據(jù)源

esProc SPL是JVM下開源的嵌入數(shù)據(jù)引擎，架構(gòu)簡單，可直接加載數(shù)據(jù)源，可以通過JDBC接口被Java集成調(diào)用，并方便地進行后續(xù)計算。

SPL架構(gòu)簡單，無須獨立服務(wù)，只要引入SPL的Jar包，就可以部署在Java環(huán)境中。

直接加載數(shù)據(jù)源，代碼簡短，過程簡單，時效性強。比如加載Oracle：

對于SQLite擅長加載的csv文件，SPL也可以直接加載，使用內(nèi)置函數(shù)而不是外部命令行，穩(wěn)定且效率高，代碼更簡短：

=T("/Users/scudata/somedata.csv")

多種外部數(shù)據(jù)源。除了RDB和csv，SPL還直接支持txt\xls等文件，MongoDB、Hadoop、redis、ElasticSearch、Kafka、Cassandra等NoSQL，以及WebService XML、Restful Json等多層數(shù)據(jù)。比如，將HDSF里的文件加載到內(nèi)存：

JDBC接口可以方便地集成。加載的數(shù)據(jù)量一般比較大，通常在應(yīng)用的初始階段運行一次，只須將上面的加載過程存為SPL腳本文件，在Java中以存儲過程的形式引用腳本文件名：

Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn =DriverManager.getConnection("jdbc:esproc:local://");
CallableStatement statement = conn.prepareCall("{call init()}");
statement.execute();

SPL的計算能力更強大

SPL提供了豐富的計算函數(shù)，可以輕松實現(xiàn)日常計算。SPL支持多種高級語法，大量的日期函數(shù)和字符串函數(shù)，很多用SQL難以表達的計算，用SPL都可以輕松實現(xiàn)，包括復(fù)雜的有序計算、集合計算、分步計算、關(guān)聯(lián)計算，以及帶流程控制的業(yè)務(wù)邏輯。

豐富的計算函數(shù)。SPL可以輕松實現(xiàn)各類日常計算：

標(biāo)準(zhǔn)SQL語法。SPL也提供了SQL-92標(biāo)準(zhǔn)的語法，比如分組匯總：

$select year(OrderDate) y,month(OrderDate) m, sum(Amount) s,count(1) c
from {Orders}
Where Amount>=? and Amount<? ;arg1,arg2

函數(shù)選項、層次參數(shù)等方便的語法。功能相似的函數(shù)可以共用一個函數(shù)名，只用函數(shù)選項區(qū)分差別，比SQL更加靈活方便。比如select函數(shù)的基本功能是過濾，如果只過濾出符合條件的第1條記錄，可使用選項@1：

T.select@1(Amount>1000)

二分法排序，即對有序數(shù)據(jù)用二分法進行快速過濾，使用@b：

T.select@b(Amount>1000)

有序分組，即對分組字段有序的數(shù)據(jù)，將相鄰且字段值相同的記錄分為一組，使用@b：

T.groups@b(Client;sum(Amount))

函數(shù)選項還可以組合搭配，比如：

Orders.select@1b(Amount>1000)

結(jié)構(gòu)化運算函數(shù)的參數(shù)有些很復(fù)雜，比如SQL就需要用各種關(guān)鍵字把一條語句的參數(shù)分隔成多個組，但這會動用很多關(guān)鍵字，也使語句結(jié)構(gòu)不統(tǒng)一。SPL使用層次參數(shù)簡化了復(fù)雜參數(shù)的表達，即通過分號、逗號、冒號自高而低將參數(shù)分為三層：

join(Orders:o,SellerId ; Employees:e,EId)

更豐富的日期和字符串函數(shù)。除了常見函數(shù)，比如日期增減、截取字符串，SPL還提供了更豐富的日期和字符串函數(shù)，在數(shù)量和功能上遠遠超過了SQL，同樣運算時代碼更短。比如：

季度增減：elapse@q(“2020-02-27”,-3) //返回2019-05-27

N個工作日之后的日期：workday(date(“2022-01-01”),25) //返回2022-02-04

字符串類函數(shù)，判斷是否全為數(shù)字：isdigit(“12345”) //返回true

取子串前面的字符串：substr@l(“abCDcdef”,“cd”) //返回abCD

按豎線拆成字符串?dāng)?shù)組：“aa|bb|cc”.split(“|”) //返回[“aa”,“bb”,“cc”]

SPL還支持年份增減、求季度、按正則表達式拆分字符串、拆出SQL的where或select部分、拆出單詞、按標(biāo)記拆HTML等大量函數(shù)。

簡化有序運算。涉及跨行的有序運算，通常都有一定的難度，比如比上期和同期比。SPL使用"字段[相對位置]"引用跨行的數(shù)據(jù)，可顯著簡化代碼，還可以自動處理數(shù)組越界等特殊情況，比SQL窗口函數(shù)更加方便。比如，追加一個計算列rate，計算每條訂單的金額增長率：

=T.derive(AMOUNT/AMOUNT[-1]-1: rate)

綜合運用位置表達式和有序函數(shù)，很多SQL難以實現(xiàn)的有序運算，都可以用SPL輕松解決。比如，根據(jù)考勤表，找出連續(xù) 4 周每天均出勤達 7 小時的學(xué)生：

簡化集合運算，SPL的集合化更加徹底，配合靈活的語法和強大的集合函數(shù)，可大幅簡化復(fù)雜的集合計算。比如，在各部門找出比本部門平均年齡小的員工：

計算某支股票最長的連續(xù)上漲天數(shù)：

簡化關(guān)聯(lián)計算。SPL支持對象引用的形式表達關(guān)聯(lián)，可以通過點號直觀地訪問關(guān)聯(lián)表，避免使用JOIN導(dǎo)致的混亂繁瑣，尤其適合復(fù)雜的多層關(guān)聯(lián)和自關(guān)聯(lián)。比如，根據(jù)員工表計算女經(jīng)理的男員工：

=employees.select(gender:"male",dept.manager.gender:"female")

方便的分步計算，SPL集合化更加徹底，可以用變量方便地表達集合，適合多步驟計算，SQL要用嵌套表達的運算，用SPL可以更輕松實現(xiàn)。比如，找出銷售額累計占到一半的前n個大客戶，并按銷售額從大到小排序：

流程控制語法。SPL提供了流程控制語句，配合內(nèi)置的結(jié)構(gòu)化數(shù)據(jù)對象，可以方便地實現(xiàn)各類業(yè)務(wù)邏輯。

分支判斷語句：

循環(huán)語句：

與Java的循環(huán)類似，SPL還可用break關(guān)鍵字跳出（中斷）當(dāng)前循環(huán)體，或用next關(guān)鍵字跳過（忽略）本輪循環(huán)，不展開說了。

計算性能更好。在內(nèi)存計算方面，除了常規(guī)的主鍵和索引外，SPL還提供了很多高性能的數(shù)據(jù)結(jié)構(gòu)和算法支持，比大多數(shù)使用SQL的內(nèi)存數(shù)據(jù)庫性能好得多，且占用內(nèi)存更少，比如預(yù)關(guān)聯(lián)技術(shù)、并行計算、指針式復(fù)用。

優(yōu)化體系結(jié)構(gòu)

SPL支持JDBC接口，代碼可外置于Java，耦合性更低，也可內(nèi)置于Java，調(diào)用更簡單。SPL支持解釋執(zhí)行和熱切換，代碼方便移植和管理運營，支持內(nèi)外存混合計算。

外置代碼耦合性低。SPL代碼可外置于Java，通過文件名被調(diào)用，既不依賴數(shù)據(jù)庫，也不依賴Java，業(yè)務(wù)邏輯和前端代碼天然解耦。

對于較短的計算，也可以像SQLite那樣合并成一句，寫在Java代碼中：

Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn =DriverManager.getConnection("jdbc:esproc:local://");
Statement statement = conn.createStatement();
String arg1="1000";
String arg2="2000"
ResultSet result = statement.executeQuery(=Orders.select(Amount>="+arg1+" && Amount<"+arg2+"). groups(year(OrderDate):y,month(OrderDate):m; sum(Amount):s,count(1):c)");

解釋執(zhí)行和熱切換。業(yè)務(wù)邏輯數(shù)量多，復(fù)雜度高，變化是常態(tài)。良好的系統(tǒng)構(gòu)架，應(yīng)該有能力應(yīng)對變化的業(yè)務(wù)邏輯。SPL是基于Java的解釋型語言，無須編譯就能執(zhí)行，腳本修改后立即生效，支持不停機的熱切換，適合應(yīng)對變化的業(yè)務(wù)邏輯。

方便代碼移植。SPL通過數(shù)據(jù)源名從數(shù)據(jù)庫取數(shù)，如果需要移植，只要改動配置文件中的數(shù)據(jù)源配置信息，而不必修改SPL代碼。SPL支持動態(tài)數(shù)據(jù)源，可通過參數(shù)或宏切換不同的數(shù)據(jù)庫，從而進行更方便的移植。為了進一步增強可移植性，SPL還提供了與具體數(shù)據(jù)庫無關(guān)的標(biāo)準(zhǔn)SQL語法，使用sqltranslate函數(shù)可將標(biāo)準(zhǔn)SQL轉(zhuǎn)為主流方言SQL，仍然通過query函數(shù)執(zhí)行。

方便管理運營。由于支持庫外計算，代碼可被第三方工具管理，方便團隊協(xié)作；SPL腳本可以按文件目錄進行存放，方便靈活，管理成本低；SPL對數(shù)據(jù)庫的權(quán)限要求類似Java，不影響數(shù)據(jù)安全。

內(nèi)外存混合計算。有些數(shù)據(jù)太大，無法放入內(nèi)存，但又要與內(nèi)存表共同計算，這種情況可利用SPL實現(xiàn)內(nèi)外存混合計算。比如，主表orders已加載到內(nèi)存，大明細表orderdetail是文本文件，下面進行主表和明細表的關(guān)聯(lián)計算：

SQLite使用簡單方便，但數(shù)據(jù)源加載繁瑣，計算能力不足。SPL架構(gòu)也非常簡單，并直接支持更多數(shù)據(jù)源。SPL計算能力強大，提供了豐富的計算函數(shù)，可以輕松實現(xiàn)SQL不擅長的復(fù)雜計算。SPL還提供多種優(yōu)化體系結(jié)構(gòu)的手段，代碼既可外置也可內(nèi)置于Java，支持解釋執(zhí)行和熱切換，方便移植和管理運營，并支持內(nèi)外存混合計算。

SPL資料

SPL官網(wǎng)

SPL下載

SPL源代碼

到此這篇關(guān)于Java 嵌入數(shù)據(jù)引擎從 SQLite 到 SPL的文章就介紹到這了,更多相關(guān)Java 嵌入數(shù)據(jù)引擎內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論