Springboot使用influxDB時序數(shù)據(jù)庫的實現(xiàn)
項目中需要存放大量設備日志,且需要對其進行簡單的數(shù)據(jù)分析,信息提取工作.
結(jié)合眾多考量因素,項目決定使用時序數(shù)據(jù)庫中的領頭羊InfluxDB.
引入依賴
項目中使用influxdb-java,在pom文件中添加如下依賴(github地址:https://github.com/influxdata/influxdb-java):
<dependency>
<groupId>org.influxdb</groupId>
<artifactId>influxdb-java</artifactId>
<version>2.15</version>
</dependency>
application.yaml文件配置如下所示(請按照實際情況填寫):
spring:
influx:
url: *
password: admin
user: 123
database: log_management
配置
(1) 創(chuàng)建配置類
@Configuration
public class InfluxDbConfig {
@Value("${spring.influx.url:''}")
private String influxDBUrl;
@Value("${spring.influx.user:''}")
private String userName;
@Value("${spring.influx.password:''}")
private String password;
@Value("${spring.influx.database:''}")
private String database;
@Bean
public InfluxDbUtils influxDbUtils() {
return new InfluxDbUtils(userName, password, influxDBUrl, database, "");
}
}
@Data
public class InfluxDbUtils {
private String userName;
private String password;
private String url;
public String database;
private String retentionPolicy;
// InfluxDB實例
private InfluxDB influxDB;
// 數(shù)據(jù)保存策略
public static String policyNamePix = "logRetentionPolicy_";
public InfluxDbUtils(String userName, String password, String url, String database,
String retentionPolicy) {
this.userName = userName;
this.password = password;
this.url = url;
this.database = database;
this.retentionPolicy = retentionPolicy == null || "".equals(retentionPolicy) ? "autogen" : retentionPolicy;
this.influxDB = influxDbBuild();
}
/**
* 連接數(shù)據(jù)庫 ,若不存在則創(chuàng)建
*
* @return influxDb實例
*/
private InfluxDB influxDbBuild() {
if (influxDB == null) {
influxDB = InfluxDBFactory.connect(url, userName, password);
}
try {
createDB(database);
influxDB.setDatabase(database);
} catch (Exception e) {
log.error("create influx db failed, error: {}", e.getMessage());
} finally {
influxDB.setRetentionPolicy(retentionPolicy);
}
influxDB.setLogLevel(InfluxDB.LogLevel.BASIC);
return influxDB;
}
}
構(gòu)建實體類
InfluxDB中,measurement對應于傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的table(database為配置文件中的log_management).
InfluxDB里存儲的數(shù)據(jù)稱為時間序列數(shù)據(jù),時序數(shù)據(jù)有零個或多個數(shù)據(jù)點.
數(shù)據(jù)點包括time(一個時間戳),measurement(例如logInfo),零個或多個tag,其對應于level,module,device_id),至少一個field(即日志內(nèi)容,msg=something error).
InfluxDB會根據(jù)tag數(shù)值建立時間序列(因此tag數(shù)值不能選取諸如UUID作為特征值,易導致時間序列過多,導致InfluxDB崩潰),并建立相應索引,以便優(yōu)化諸如查詢速度.
@Builder
@Data
@Measurement(name = "logInfo")
public class LogInfo {
// Column中的name為measurement中的列名
// 此外,需要注意InfluxDB中時間戳均是以UTC時保存,在保存以及提取過程中需要注意時區(qū)轉(zhuǎn)換
@Column(name = "time")
private String time;
// 注解中添加tag = true,表示當前字段內(nèi)容為tag內(nèi)容
@Column(name = "module", tag = true)
private String module;
@Column(name = "level", tag = true)
private String level;
@Column(name = "device_id", tag = true)
private String deviceId;
@Column(name = "msg")
private String msg;
}
保存數(shù)據(jù)
以下代碼為單條日志保存,influxdb-java亦支持批量保存(因為與InfluxDB通訊均是通過http,因此建議批量保存以減少性能損耗).
LogInfo logInfo = LogInfo.builder()
.level(jsonObject.getString("level"))
.module(module)
.deviceId(deviceId)
.msg(jsonObject.getString("msg"))
.build();
Point point = Point.measurementByPOJO(logInfo.getClass())
.addFieldsFromPOJO(logInfo)
.time(jsonObject.getLong("time"), TimeUnit.MILLISECONDS)
.build();
// 出于業(yè)務考量,設備可以設置不同的保存策略(策略名為固定前綴+設備ID)
influxDB.write(influxDBUtils.database, InfluxDbUtils.policyNamePix + deviceId, point);
查詢數(shù)據(jù)
因為代碼與業(yè)務耦合比較厲害,因此此處僅截選做概要示范.
// InfluxDB支持分頁查詢,因此可以設置分頁查詢條件
String pageQuery = " LIMIT " + request.getPageSize() + " OFFSET " + ((request.getPageNum() - 1) * request.getPageSize());
// 此處查詢所有內(nèi)容,如果
String queryCmd = "SELECT * FROM "
// 查詢指定設備下的日志信息
// 要指定從 RetentionPolicyName(保存策略前綴+設備ID).measurement(logInfo) 中查詢指定數(shù)據(jù))
+ InfluxDbUtils.policyNamePix + request.getDeviceId() + "." + "logInfo"
// 添加查詢條件(注意查詢條件選擇tag值,選擇field數(shù)值會嚴重拖慢查詢速度)
+ queryCondition
// 查詢結(jié)果需要按照時間排序
+ " ORDER BY time DESC"
// 添加分頁查詢條件
+ pageQuery;
選擇時序數(shù)據(jù)庫,不建議使用刪除以及更新操作,因此不做介紹.
可以通過創(chuàng)建或者RetentionPolicy,來添加或者更新數(shù)據(jù)的刪除時間.
到此這篇關(guān)于Springboot使用influxDB時序數(shù)據(jù)庫的實現(xiàn)的文章就介紹到這了,更多相關(guān)Springboot使用influxDB內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Dubbo?retries?超時重試機制的問題原因分析及解決方案
這篇文章主要介紹了Dubbo?retries?超時重試機制的問題,解決方案是通過修改dubbo服務提供方,將timeout超時設為20000ms或者設置retries=“0”,禁用超時重試機制,感興趣的朋友跟隨小編一起看看吧2022-04-04
在Linux系統(tǒng)上升級Java版本的兩種方法步驟
由于項目升級,需要將JDK7升級到JDK8,升級JDK的同時也要升級一些其他的版本,下面這篇文章主要給大家介紹了關(guān)于在Linux系統(tǒng)上升級Java版本的兩種方法步驟,需要的朋友可以參考下2024-09-09
AQS(AbstractQueuedSynchronizer)抽象隊列同步器及工作原理解析
AQS是用來構(gòu)建鎖或者其他同步器組件的重量級基礎框架及整個JUC體系的基石,通過內(nèi)置的FIFO對列來完成資源獲取線程的排隊工作,并通過一個int類型變量表示持有鎖的狀態(tài),本文給大家詳細介紹下AQS抽象隊列同步器的相關(guān)知識,感興趣的朋友一起看看吧2022-03-03

