elasticsearch開發(fā)中data-streams使用解析
更新時間：2023年08月07日 14:46:28 作者：codecraft
這篇文章主要為大家介紹了elasticsearch開發(fā)中data-streams使用解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
序
本文主要研究一下elasticsearch的data-streams
data-streams
主要特性
首先data streams是由一個或者多個自動生成的隱藏索引組成的，它的格式為.ds-<data-stream>-<yyyy.MM.dd>-<generation>
示例.ds-web-server-logs-2099.03.07-000034，generation是一個6位的數(shù)字，默認從000001開始
- 必須包含@timestamp字段，映射為date或者date_nanos字段類型，如果index template沒有定義類型的話，則elasticsearch默認將其定義為date類型
- 讀請求會自動路由到關聯(lián)到的所有索引，而寫請求的話則是添加到最新的索引，舊的索引不支持添加數(shù)據(jù)
- rollover會根據(jù)指定條件來創(chuàng)建新索引，一般是推薦使用ILM自動取rollover
使用
創(chuàng)建mappings和settings
# Creates a component template for mappings
PUT _component_template/my-mappings
{
"template": {
"mappings": {
"properties": {
"@timestamp": {
"type": "date",
"format": "date_optional_time||epoch_millis"
},
"message": {
"type": "wildcard"
}
}
}
},
"_meta": {
"description": "Mappings for @timestamp and message fields",
"my-custom-meta-field": "More arbitrary metadata"
}
}
# Creates a component template for index settings
PUT _component_template/my-settings
{
"template": {
"settings": {
"index.lifecycle.name": "my-lifecycle-policy"
}
},
"_meta": {
"description": "Settings for ILM",
"my-custom-meta-field": "More arbitrary metadata"
}
}主要是利用_component_template創(chuàng)建mappings和settings，方面下面創(chuàng)建index_template使用
創(chuàng)建index template
PUT _index_template/my-index-template
{
"index_patterns": ["my-data-stream*"],
"data_stream": { },
"composed_of": [ "my-mappings", "my-settings" ],
"priority": 500,
"_meta": {
"description": "Template for my time series data",
"my-custom-meta-field": "More arbitrary metadata"
}
}創(chuàng)建data stream
PUT /_data_stream/my-data-stream-1/
查詢data stream
GET /_data_stream/my-data-stream-1
{
"data_streams": [
{
"name": "my-data-stream-1",
"timestamp_field": {
"name": "@timestamp"
},
"indices": [
{
"index_name": ".ds-my-data-stream-1-2023.08.06-000001",
"index_uuid": "ByCb4bPGSEOXfVf3Txpiiw"
}
],
"generation": 1,
"_meta": {
"my-custom-meta-field": "More arbitrary metadata",
"description": "Template for my time series data"
},
"status": "YELLOW",
"template": "my-data-stream",
"ilm_policy": "my-lifecycle-policy",
"hidden": false,
"system": false,
"allow_custom_routing": false,
"replicated": false
}
]
}創(chuàng)建數(shù)據(jù)
POST my-data-stream-1/_doc
{
"@timestamp": "2099-05-06T16:21:15.000Z",
"message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}返回
{
"_index": ".ds-my-data-stream-1-2023.08.06-000001",
"_id": "bHTfyIkBwVE4kI2xm5nL",
"_version": 1,
"result": "created",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}查詢索引數(shù)據(jù)
POST my-data-stream-1/_search
{ "query": { "match_all": {} } }filebeat
filebeat默認output到elasticsearch創(chuàng)建的就是data streams，如果不想使用其自動加載的模版，則可以設置setup.template.enabled=false，那么創(chuàng)建的則是普通的index。
小結
elasticsearch7.9版本以xpack的形式推出了data streams，主要是針對持續(xù)產(chǎn)生的時間序列數(shù)據(jù)提供了一種更為簡單的方式去對索引進行數(shù)據(jù)切分和統(tǒng)一查詢的方式。
doc data-streams
以上就是elasticsearch開發(fā)中data-streams使用解析的詳細內容，更多關于elasticsearch data-streams的資料請關注腳本之家其它相關文章！
相關文章
在日常使用SpringMVC進行開發(fā)的時候,有可能遇到前端各種類型的請求參數(shù),這里做一次相對全面的總結,下面這篇文章主要給大家介紹了關于springMVC獲取請求參數(shù)的幾種方式,需要的朋友可以參考下2022-04-04
這篇文章主要介紹了Java8 如何正確高效的使用并行流，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-11-11
SpringSecurity Oauth2訪問令牌續(xù)期問題
這篇文章主要介紹了SpringSecurity Oauth2訪問令牌續(xù)期問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-04-04
本文主要介紹了Java批量獲取地址間距離，獲取兩個地址間距離，實現(xiàn)方式比較多，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-07-07
這篇文章主要介紹了Java中閉包簡單代碼示例，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
使用Post方式提交數(shù)據(jù)到Tomcat服務器的方法
這篇將介紹使用Post方式提交數(shù)據(jù)到服務器，由于Post的方式和Get方式創(chuàng)建Web工程是一模一樣的，只用幾個地方的代碼不同，這篇文章主要介紹了使用Post方式提交數(shù)據(jù)到Tomcat服務器的方法，感興趣的朋友一起學習吧2016-04-04
IDEA上原生是不支持熱部署的，一般更新了 Java 文件后要手動重啟 Tomcat 服務器，才能生效，下面通過本文給大家分享idea離線使用jrebel的超詳細教程(親測有效)，感興趣的朋友一起看看吧2020-12-12
Java開發(fā)中,編譯源文件需使用javac命令,該命令能將.java文件編譯成.class字節(jié)碼文件,后者可在JVM上運行,常用編譯選項包括-d指定輸出目錄,-classpath設置類搜索路徑等,啟動Java程序使用java命令,它加載并運行包含main方法的類2024-10-10
SpringBoot?Admin集成診斷利器Arthas示例實現(xiàn)
這篇文章主要為大家介紹了SpringBoot?Admin集成診斷利器Arthas示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
這篇文章主要介紹了SpringBoot 啟動方法run()源碼賞析,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03