ELK生命周期

2024-01-09 21:21:50

ELK+kafka

<es生命周期可视化配置界面>

?

一、创建索引模式

根据logstash中的日志规则 匹配对应系统日志

二、创建索引生命周期策略:可以控制生成索引的生命周期

共4个阶段:热阶段——温阶段——冷阶段——删除阶段

阶段1.?hot: 索引被频繁写入和查询

阶段2.?warm: 索引不再写入,但是仍在查询

阶段3.?cold: 索引很久不被更新,同时很少被查询。但现在考虑删除数据还为时过早,仍然有需要这些数据的可能,但是可以接受较慢的查询响应。

阶段4.?delete: 索引不再需要,可以删除。

温阶段和冷阶段可选择性增加;

示例:ES生命周期管理 - 知乎

三、创建索引模版:根据模版配置生成对应索引文件

{
  "description": "default logs template installed by x-pack",
  "managed": true
}

四、配置完成索引模版即可,logstash输出数据时,会检测日志文件名是否符合logstash-*,符合则根据配置的模版生成索引文件。
五、测试
1、按照上述流程配置,模拟生成对应索引,查看是否走对应模版;
# 生成索引
PUT logstash-2023.10.11
# 查询索引
GET logstash-2023.10.11
2、若不用可视化配置,也可通过脚本在控制台模拟

1)生成logstash-policy1 生命周期策略

PUT _ilm/policy/logstash-policy1
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "10s",
        "actions": {
          "delete": {
            "delete_searchable_snapshot": true
          }
        }
      }
    }
  }
}
  1. policy:这是索引生命周期管理策略的根对象。
  2. phases:这是一个包含不同阶段的对象。在索引生命周期管理策略中,阶段是指按照特定的时间间隔,例如每个小时或每天,执行特定操作的逻辑单元。

在给定的配置中,有两个阶段:

  • hot:这是索引的活跃阶段。在这个阶段,索引处于活动状态并接受新的数据。

    • min_age:这是索引的生命周期开始的时间点。在这里,它设置为"0ms",意味着从创建索引的那一刻开始,该索引就会进入这个阶段。
    • actions:这是在该阶段执行的操作列表。
      • set_priority:这是一个设置索引优先级为100的操作。优先级是一个数值,用于在执行某些操作时确定哪些索引应该首先处理。较高的优先级意味着在处理相同操作的多个索引时,优先级较高的索引将首先被处理。
  • delete:这是删除索引的阶段。

    • min_age:这是索引进入该阶段的时间点。在这里,它设置为"10s",意味着从创建索引开始,10秒后,该索引将进入这个阶段。
    • actions:这是在该阶段执行的操作列表。
      • delete:这是一个删除索引的操作。此外,还有delete_searchable_snapshot属性,设置为true,这意味着在删除索引之前,也会删除与该索引关联的可搜索快照。

简而言之,这个配置定义了一个索引生命周期管理策略,其中新创建的索引首先会被设置为高优先级(100),并在10秒后被删除。

2)生成 logstash_template1 模版

PUT _template/logstash_template1
{
  "index_patterns": [
      "test1-*"
    ],
    "settings": {
      "index": {
        "lifecycle": {
          "name": "logstash-policy1"
        }
      }
    },
    "mappings": {
      "dynamic": "true",
      "dynamic_date_formats": [
        "strict_date_optional_time",
        "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"
      ],
      "dynamic_templates": [],
      "date_detection": true,
      "numeric_detection": false,
      "properties": {
        "env": {
          "type": "text"
        },
        "index_name": {
          "type": "text"
        },
        "ip": {
          "type": "text"
        },
        "message": {
          "type": "text"
        }
      }
    },
    "aliases": {}
}
  1. PUT _template/logstash_template1:

    • PUT?是一个HTTP方法,用于创建或更新资源。
    • _template/logstash_template1?指定了要创建或更新的资源路径,即索引模板。
  2. {: 开始定义JSON对象。

  3. "index_patterns": ["test1-*"],:

    • 定义了该模板可以应用于哪些索引名称模式。在这里,它适用于所有以test1-开头的索引名称。
  4. "settings": {: 开始定义设置部分,它定义了模板级别的设置。

  5. "index": {: 开始定义索引级别的设置。

  6. "lifecycle": {: 开始定义索引的生命周期策略。

  7. "name": "logstash-policy1"},: 设置索引生命周期策略的名称为logstash-policy1

  8. },: 结束索引生命周期策略的定义。

  9. },: 结束索引级别的设置。

  10. },: 结束设置部分的定义。

  11. "mappings": {: 开始定义索引的映射,即如何存储和检索数据。

  12. "dynamic": "true",: 允许动态映射,即如果字段在文档中不存在,则会自动创建该字段。

  13. "dynamic_date_formats": [: 定义动态日期格式。这些格式告诉Elasticsearch如何解析日期字段。

  14. "strict_date_optional_time", "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"],: 定义了两个日期格式,用于解析日期字段。

  15. "dynamic_templates": [],: 定义动态模板,用于处理某些类型的字段。这里为空,表示不定义任何动态模板。

  16. "date_detection": true,: 启用日期检测,使Elasticsearch能够自动检测日期字段。

  17. "numeric_detection": false,: 不启用数字检测,这意味着如果字段是数字,它不会被自动转换为数字类型。

  18. "properties": {: 开始定义字段的属性。

  19. "env": { "type": "text" },: 定义一个名为env的字段,其类型为文本。

  20. "index_name": { "type": "text" },: 定义一个名为index_name的字段,其类型为文本。

  21. "ip": { "type": "text" },: 定义一个名为ip的字段,其类型为文本。

  22. "message": { "type": "text" }: 定义一个名为message的字段,其类型为文本。

  23. },: 结束字段属性的定义。

  24. },: 结束映射部分的定义。

  25. "aliases": {}: 定义索引别名,这里为空,表示没有别名。

  26. }: 结束JSON对象。

3)创建符合模版条件的索引

# 创建索引
PUT test1-000001

# 写入数据
PUT /test1-000001/_doc/1
{  
  "env": "develop",  
  "index_name": "测试",  
  "ip": "127.0.0.1",
  "message": "一个测试",
  "@timestamp" : "2024-01-08T00:03:06.432Z"
}

# 查看索引
GET test1-000001

# 查看索引内容
GET /test1-000001/_mapping?pretty
GET /test1-000001/_search

# 删除索引
DELETE test1-000001

可以在ES中查看索引是否走对应模版:

文章来源:https://blog.csdn.net/weixin_42195292/article/details/135480556
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。