PUT /my_index 
{
    "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 0
    },
    "mappings": {
        "properties": {
            "title": {
                "type": "text"
            }
        }
    }
}

建立索引的時候可以為其配置很多 Setting 和 properties ，這些配置可以幫助我們更好的使用索引。

但是這衍生一個問題，如果索引特別多或者需要滾動索引的時候，每一次都需要配置，這個時候就需要我們使用索引模板了》》》

三. 索引模板

作用

索引模板定義了設(shè)置和映射，你可以在創(chuàng)建新索引時自動應(yīng)用。Elasticsearch根據(jù)與索引名稱相匹配的索引模式，將模板應(yīng)用于新的索引。

索引模板只在創(chuàng)建索引時應(yīng)用。對索引模板的改變不影響現(xiàn)有的索引。在創(chuàng)建索引的API請求中指定的設(shè)置和映射會覆蓋索引模板中指定的任何設(shè)置或映射

3.1 索引模板的創(chuàng)建

PUT _template/test_template
{
    "order": 0,
    "index_patterns": [
        "test_*"
    ],
    "settings": {
        "index": {
            // 分片數(shù)量
            "number_of_shards": "6",
            // 刷新間隔
            "refresh_interval": "10s"
        }
    },
    "mappings": {
        "properties": {
            "createTime": {
                "type": "date",
                "format": "yyyy-MM-dd HH:mm:ss"
            },
            "requestId": {
                "type": "keyword"
            },
            "title": {
                "type": "text",
                // 分詞器
                "analyzer": "standard",
                "fields": {
                    "keyword": {
                        "type": "keyword"
                    }
                }
            }
        }
    },
    "aliases": {}
}

在上面的例子中，my_template 是索引模板的名稱，my_index_* 是新創(chuàng)建的索引的名稱，number_of_shards 是設(shè)置每個新索引的分片數(shù)，timestamp 是要插入的時間戳字段。

其他核心的字段：

template: 匹配模板名稱的模式，可以使用通配符來匹配多個模板。
order: 定義模板的匹配順序。較低的數(shù)字優(yōu)先匹配。
settings: 指定模板的索引設(shè)置，例如副本數(shù)量、分片數(shù)量和分配策略。
mappings: 指定模板的索引映射，即文檔類型和字段。
aliases: 定義與索引相關(guān)聯(lián)的別名。
version: 定義模板的版本號，用于在更新模板時進(jìn)行沖突檢測。
index_patterns: 指定要應(yīng)用模板的索引模式，支持使用通配符指定多個索引。
composed_of: 定義其他 _template API 模板的組合。
priority: 定義模板的優(yōu)先級。較高的數(shù)字優(yōu)先匹配。
metadata: 定義模板的任意元數(shù)據(jù)。

Create or update index template API | Elasticsearch Guide [8.6] | Elastic

3.2 索引模板 Setting

setting 用于定義策略，包括分片，刷新等等，它擁有如下核心配置：

index.number_of_shards：設(shè)置每個新創(chuàng)建索引的主分片數(shù)量。默認(rèn)為 1
index.number_of_replicas：設(shè)置每個新創(chuàng)建索引的副本分片數(shù)量。默認(rèn)為 1
index.codec：設(shè)置新創(chuàng)建索引所使用的編解碼器
index.routing.allocation.total_shards_per_node：設(shè)置每個節(jié)點(diǎn)最多可以容納的主分片和副本分片總數(shù)
index.routing.allocation.require：設(shè)置新創(chuàng)建索引需要符合的節(jié)點(diǎn)篩選條件
index.lifecycle.name：設(shè)置新創(chuàng)建索引要使用的生命周期策略
index.refresh_interval：設(shè)置新創(chuàng)建索引的刷新間隔時間
index.max_result_window：設(shè)置新創(chuàng)建索引可返回的最大搜索結(jié)果數(shù)
index.mapping.ignore_malformed：設(shè)置是否忽略在文檔中出現(xiàn)的字段映射錯誤
index.analysis.analyzer：設(shè)置新創(chuàng)建索引中的分析器
index.analysis.filter：設(shè)置新創(chuàng)建索引中的分析過濾器

3.3 索引映射：mapping

type：指定字段的數(shù)據(jù)類型
index：指定字段是否索引，可以是 analyzed、not_analyzed、no 或 false
store：指定字段是否存儲，可以是 true 或 false
analyzer：指定字段分析器的名稱，可以是內(nèi)置分析器或自定義分析器
search_analyzer：指定查詢時使用的分析器名稱，可以是內(nèi)置分析器或自定義分析器
normalizer：指定字段規(guī)范化器的名稱，用于在查詢和聚合時規(guī)范化字段值
copy_to：指定一個或多個字段，將該字段的內(nèi)容復(fù)制到指定的字段中，以便在查詢和聚合時使用
fields：為字段定義多個屬性，例如不同的分析器、不同的索引設(shè)置等
format：指定日期類型的格式化方式

注意：還是由于版本的問題，導(dǎo)致每個版本的寫法不一樣，可能有的還會過時刪除??！

四. 業(yè)務(wù)功能

4.1 創(chuàng)建滾動索引

背景： ES 記錄業(yè)務(wù)審計日志，每天生成大量的記錄，導(dǎo)致單個索引過大

前置知識點(diǎn) ：

// 索引別名 : 指向一個或多個索引的可讀寫名稱，它們可以被用來代替實(shí)際的索引名稱
- 幫助實(shí)現(xiàn)索引的無縫切換，同時也可以減少修改客戶端查詢的需要
- 切換集群，切換測試時都可以快速修改

// ES Rollover 特性
- 允許你在索引到達(dá)一定大小或者時間上限時自動滾動到一個新的索引中
- 新索引可以是一個完全相同的結(jié)構(gòu)，也可以是不同的
- 可以是在同一個 Elasticsearch 集群中的不同節(jié)點(diǎn)上，也可以是在不同的集群上

創(chuàng)建流程：

S1 : 創(chuàng)建一個索引模板，為模板定義一個 index_patterns
S2 : 創(chuàng)建一個索引，并且為索引定義一個別名
S3 : 觸發(fā)索引的滾動，同時通過別名進(jìn)行業(yè)務(wù)操作

// S1 : 創(chuàng)建模板
- 創(chuàng)建 ：此處略，創(chuàng)建方式就是上面的模板創(chuàng)建案例
- 查看創(chuàng)建的模板 ： GET _template/test_template
// S2 : 索引創(chuàng)建過程 (這里的實(shí)際格式為 <test-{now/d}-000001>)
PUT %3Ctest_%7Bnow%2Fd%7D-000001%3E
{
  "aliases": {
    "test_rollover": {
      "is_write_index": true
    }
  }
}
GET %3Ctest_%7Bnow%2Fd%7D-000001%3E
// S3: 為其觸發(fā)手動滾動規(guī)則 （此處是有3條文檔則滾動一次，此處沒有數(shù)據(jù)，所以無法滾動）
POST /test_rollover/_rollover
{
    "conditions": {
        "max_docs": 3 
    }
}
// S4 : 插入文檔
POST /test_rollover/_doc
{
  "businessInfo":"123"
}
// S5 : 查詢當(dāng)前文檔數(shù) （這里創(chuàng)建后已經(jīng)有了多條，但是索引只有一個）
GET /test_rollover/_doc/_search
POST /test_rollover/_rollover
{
    "conditions": {
        "max_docs": 3 
    }
}
>> 再次觸發(fā)滾動后，發(fā)現(xiàn)已經(jīng)創(chuàng)建了新的

核心重點(diǎn)

is_write_index 很重要，他將決定翻滾之后的舊索引是否還能被查詢到
- 未配置：別名會指向新索引，并從舊索引中移除別名，通過別名無法查詢到舊的索引
- 配置為 true : 別名會同時指向新舊索引 , 舊索引上的別名is_write_index會被設(shè)置為 false，僅可讀
conditions 有哪些
- max_docs: 索引中文檔的最大數(shù)量，超過該數(shù)量將觸發(fā)rollover
- max_age: 索引的最大存儲時間，超過該時間將觸發(fā)rollover（30d / 12h 等）
- max_size: 索引的最大存儲大小，超過該大小將觸發(fā)rollover（5gb / 100mb 等）
- max_primary_shard_size: 主分片的最大存儲大小，超過該大小將觸發(fā)rollover
- max_num_segments: 索引的最大段數(shù)，超過該數(shù)量將觸發(fā)rollover
- min_index_age: 索引的最小存儲時間，必須等待一段時間后才能rollover
- min_doc_count: 索引中文檔的最小數(shù)量，必須達(dá)到一定數(shù)量后才能rollover
自動化
- 通過 _rollover 手動觸發(fā)
- 通過 Index Lifecycle Management 做生命周期控制

4.2 創(chuàng)建和綁定策略

可以通過控制臺綁定，也可以通過接口

PUT _ilm/policy/my_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
             "max_docs": 3 
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
// 創(chuàng)建模板時進(jìn)行綁定
"settings": {
    "lifecycle": {
        "name": "my_policy",
        "rollover_alias" : "test_rollover"
      }
}

總結(jié)

ES 這東西真的難受，之前用的好好的版本，換了一個版本啥也用不了，筆記白做，以上記錄不能保證其他版本可用。

ES 索引模板可以幫助我們基于當(dāng)前ES集群的情況和業(yè)務(wù)場景，規(guī)劃出一套性能更優(yōu)，場景更符合的配置。

基于滾動索引和策略（不論是腳本調(diào)用或者自動策略），都能實(shí)現(xiàn)按計劃滾動索引，避免索引過多。

這東西現(xiàn)在只可意會，不可照抄！！

以上就是ElasticSearch之索引模板滾動索引實(shí)現(xiàn)詳解的詳細(xì)內(nèi)容，更多關(guān)于ElasticSearch索引模板滾動索引的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

軟件下載

源碼下載

軟件編程

網(wǎng)絡(luò)編程

在線工具

數(shù)據(jù)庫

CMS

常用工具

ElasticSearch之索引模板滾動索引實(shí)現(xiàn)詳解

目錄

一. 前言

二. 索引

三. 索引模板

3.1 索引模板的創(chuàng)建

3.2 索引模板 Setting

3.3 索引映射：mapping

四. 業(yè)務(wù)功能

4.1 創(chuàng)建滾動索引

4.2 創(chuàng)建和綁定策略

總結(jié)

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

ElasticSearch之索引模板滾動索引實(shí)現(xiàn)詳解

目錄

一. 前言

二. 索引

三. 索引模板

3.1 索引模板的創(chuàng)建

3.2 索引模板 Setting

3.3 索引映射 ：mapping

四. 業(yè)務(wù)功能

4.1 創(chuàng)建滾動索引

4.2 創(chuàng)建和綁定策略

總結(jié)

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

3.3 索引映射：mapping