Springboot使用influxDB時(shí)序數(shù)據(jù)庫(kù)的實(shí)現(xiàn)
項(xiàng)目中需要存放大量設(shè)備日志,且需要對(duì)其進(jìn)行簡(jiǎn)單的數(shù)據(jù)分析,信息提取工作.
結(jié)合眾多考量因素,項(xiàng)目決定使用時(shí)序數(shù)據(jù)庫(kù)中的領(lǐng)頭羊InfluxDB.
引入依賴
項(xiàng)目中使用influxdb-java,在pom文件中添加如下依賴(github地址:https://github.com/influxdata/influxdb-java):
<dependency> <groupId>org.influxdb</groupId> <artifactId>influxdb-java</artifactId> <version>2.15</version> </dependency>
application.yaml文件配置如下所示(請(qǐng)按照實(shí)際情況填寫):
spring: influx: url: * password: admin user: 123 database: log_management
配置
(1) 創(chuàng)建配置類
@Configuration public class InfluxDbConfig { @Value("${spring.influx.url:''}") private String influxDBUrl; @Value("${spring.influx.user:''}") private String userName; @Value("${spring.influx.password:''}") private String password; @Value("${spring.influx.database:''}") private String database; @Bean public InfluxDbUtils influxDbUtils() { return new InfluxDbUtils(userName, password, influxDBUrl, database, ""); } }
@Data public class InfluxDbUtils { private String userName; private String password; private String url; public String database; private String retentionPolicy; // InfluxDB實(shí)例 private InfluxDB influxDB; // 數(shù)據(jù)保存策略 public static String policyNamePix = "logRetentionPolicy_"; public InfluxDbUtils(String userName, String password, String url, String database, String retentionPolicy) { this.userName = userName; this.password = password; this.url = url; this.database = database; this.retentionPolicy = retentionPolicy == null || "".equals(retentionPolicy) ? "autogen" : retentionPolicy; this.influxDB = influxDbBuild(); } /** * 連接數(shù)據(jù)庫(kù) ,若不存在則創(chuàng)建 * * @return influxDb實(shí)例 */ private InfluxDB influxDbBuild() { if (influxDB == null) { influxDB = InfluxDBFactory.connect(url, userName, password); } try { createDB(database); influxDB.setDatabase(database); } catch (Exception e) { log.error("create influx db failed, error: {}", e.getMessage()); } finally { influxDB.setRetentionPolicy(retentionPolicy); } influxDB.setLogLevel(InfluxDB.LogLevel.BASIC); return influxDB; } }
構(gòu)建實(shí)體類
InfluxDB中,measurement對(duì)應(yīng)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中的table(database為配置文件中的log_management).
InfluxDB里存儲(chǔ)的數(shù)據(jù)稱為時(shí)間序列數(shù)據(jù),時(shí)序數(shù)據(jù)有零個(gè)或多個(gè)數(shù)據(jù)點(diǎn).
數(shù)據(jù)點(diǎn)包括time(一個(gè)時(shí)間戳),measurement(例如logInfo),零個(gè)或多個(gè)tag,其對(duì)應(yīng)于level,module,device_id),至少一個(gè)field(即日志內(nèi)容,msg=something error).
InfluxDB會(huì)根據(jù)tag數(shù)值建立時(shí)間序列(因此tag數(shù)值不能選取諸如UUID作為特征值,易導(dǎo)致時(shí)間序列過(guò)多,導(dǎo)致InfluxDB崩潰),并建立相應(yīng)索引,以便優(yōu)化諸如查詢速度.
@Builder @Data @Measurement(name = "logInfo") public class LogInfo { // Column中的name為measurement中的列名 // 此外,需要注意InfluxDB中時(shí)間戳均是以UTC時(shí)保存,在保存以及提取過(guò)程中需要注意時(shí)區(qū)轉(zhuǎn)換 @Column(name = "time") private String time; // 注解中添加tag = true,表示當(dāng)前字段內(nèi)容為tag內(nèi)容 @Column(name = "module", tag = true) private String module; @Column(name = "level", tag = true) private String level; @Column(name = "device_id", tag = true) private String deviceId; @Column(name = "msg") private String msg; }
保存數(shù)據(jù)
以下代碼為單條日志保存,influxdb-java亦支持批量保存(因?yàn)榕cInfluxDB通訊均是通過(guò)http,因此建議批量保存以減少性能損耗).
LogInfo logInfo = LogInfo.builder() .level(jsonObject.getString("level")) .module(module) .deviceId(deviceId) .msg(jsonObject.getString("msg")) .build(); Point point = Point.measurementByPOJO(logInfo.getClass()) .addFieldsFromPOJO(logInfo) .time(jsonObject.getLong("time"), TimeUnit.MILLISECONDS) .build(); // 出于業(yè)務(wù)考量,設(shè)備可以設(shè)置不同的保存策略(策略名為固定前綴+設(shè)備ID) influxDB.write(influxDBUtils.database, InfluxDbUtils.policyNamePix + deviceId, point);
查詢數(shù)據(jù)
因?yàn)榇a與業(yè)務(wù)耦合比較厲害,因此此處僅截選做概要示范.
// InfluxDB支持分頁(yè)查詢,因此可以設(shè)置分頁(yè)查詢條件 String pageQuery = " LIMIT " + request.getPageSize() + " OFFSET " + ((request.getPageNum() - 1) * request.getPageSize()); // 此處查詢所有內(nèi)容,如果 String queryCmd = "SELECT * FROM " // 查詢指定設(shè)備下的日志信息 // 要指定從 RetentionPolicyName(保存策略前綴+設(shè)備ID).measurement(logInfo) 中查詢指定數(shù)據(jù)) + InfluxDbUtils.policyNamePix + request.getDeviceId() + "." + "logInfo" // 添加查詢條件(注意查詢條件選擇tag值,選擇field數(shù)值會(huì)嚴(yán)重拖慢查詢速度) + queryCondition // 查詢結(jié)果需要按照時(shí)間排序 + " ORDER BY time DESC" // 添加分頁(yè)查詢條件 + pageQuery;
選擇時(shí)序數(shù)據(jù)庫(kù),不建議使用刪除以及更新操作,因此不做介紹.
可以通過(guò)創(chuàng)建或者RetentionPolicy,來(lái)添加或者更新數(shù)據(jù)的刪除時(shí)間.
到此這篇關(guān)于Springboot使用influxDB時(shí)序數(shù)據(jù)庫(kù)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Springboot使用influxDB內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
springboot2.0整合logback日志的詳細(xì)代碼
這篇文章主要介紹了springboot2.0整合logback日志的應(yīng)用場(chǎng)景分析,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02Dubbo?retries?超時(shí)重試機(jī)制的問(wèn)題原因分析及解決方案
這篇文章主要介紹了Dubbo?retries?超時(shí)重試機(jī)制的問(wèn)題,解決方案是通過(guò)修改dubbo服務(wù)提供方,將timeout超時(shí)設(shè)為20000ms或者設(shè)置retries=“0”,禁用超時(shí)重試機(jī)制,感興趣的朋友跟隨小編一起看看吧2022-04-04對(duì)象轉(zhuǎn)Json字符串時(shí)如何忽略指定屬性
這篇文章主要介紹了對(duì)象轉(zhuǎn)Json字符串時(shí)如何忽略指定屬性,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-08-08在Linux系統(tǒng)上升級(jí)Java版本的兩種方法步驟
由于項(xiàng)目升級(jí),需要將JDK7升級(jí)到JDK8,升級(jí)JDK的同時(shí)也要升級(jí)一些其他的版本,下面這篇文章主要給大家介紹了關(guān)于在Linux系統(tǒng)上升級(jí)Java版本的兩種方法步驟,需要的朋友可以參考下2024-09-09spring 整合kafka監(jiān)聽(tīng)消費(fèi)的配置過(guò)程
這篇文章主要介紹了spring 整合kafka監(jiān)聽(tīng)消費(fèi)的配置過(guò)程,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-03-03AQS(AbstractQueuedSynchronizer)抽象隊(duì)列同步器及工作原理解析
AQS是用來(lái)構(gòu)建鎖或者其他同步器組件的重量級(jí)基礎(chǔ)框架及整個(gè)JUC體系的基石,通過(guò)內(nèi)置的FIFO對(duì)列來(lái)完成資源獲取線程的排隊(duì)工作,并通過(guò)一個(gè)int類型變量表示持有鎖的狀態(tài),本文給大家詳細(xì)介紹下AQS抽象隊(duì)列同步器的相關(guān)知識(shí),感興趣的朋友一起看看吧2022-03-03