ElasticSearch 数据备份参考

2023-12-28 12:12:21

ElasticSearch 数据备份参考

  • 总结: 规模数据建议使用Snapshot and Restore功能,或者用LogStash,小规模数据可以用 elasticdump。

  • 官方建议: 在灾难中,快照可以防止永久数据丢失。快照生命周期管理是对集群进行定期备份的最简单方法。有关详细信息,参阅创建快照。

    警告
    快照是备份集群的唯一可靠且受支持的方法。你无法通过复制 Elasticsearch 集群节点的数据目录来备份该集群。不支持从文件系统级备份中恢复任何数据的方法。如果尝试从这样的备份中恢复集群,它可能会失败,并报告损坏或丢失文件或其他数据不一致,或者它似乎成功又悄悄地丢失了一些数据。

  1. 可以使用Elasticsearch的Snapshot and Restore功能。

    • **快照还原**模块支持创建单独索引或整个集群的快照到本地或者远程仓库,像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原,但快照的还原需要Elasticsearch的版本能正确的读取索引文件。
    • 在为es集群环境做灾备和恢复时候,首先需要创建创建一个仓库,并往仓库中存放快照(每个快照中会区分不同的索引)。但是在创建仓库的时候,要求仓库的地址必须在每个集群环境中的elasticsearch.yml中进行配置
    • 可以借助ES的 OSS 插件将索引数据备份到OSS上,而不需要停机。 且可以自动备份。
    • 也可以单独备份到本地磁盘然后主动上传到OSS
    #!/bin/bash
    
    # 首先在elasticsearch.yml 新增, 然后重启ES
    path.repo: ["/home/es/snapshot"]
    
    
    # 创建本地快照存储库
    curl -X PUT "http://127.0.0.1:9200/_snapshot/local_repository"  -H 'Content-Type: application/json' -d '{
      "type": "fs",
      "settings": {
        "location": "/home/work/es-backup/snapshot",
        "compress": true
      }
    }'
    
    # 创建快照(备份)到本地磁盘
    curl -X PUT "http://127.0.0.1:9200/_snapshot/local_repository/snapshot_$(date +%s)" -H 'Content-Type: application/json' -d '{
      "indices": "evaluating",
      "ignore_unavailable": true,
      "include_global_state": false
    }'
    
    # 查看状态
    # curl GET "http://127.0.0.1:9200/_snapshot/local_repository/snapshot_$(date +%s)"
    # 等待快照完成
    sleep 10
    
    
    # 上传备份到OSS
    ossutil cp -r /home/work/es-backup/snapshot oss://your-oss-bucket/your_backup_folder
    
    
    • https://doc.codingdict.com/elasticsearch/436/
  2. 也可以用 elasticdump 来实现

    • 小规模数据建议使用

      # 备份 mapping
      elasticdump --input=http://127.0.0.1:9200/evaluating --output=/home/work/data/es-backup/evaluating_mapping.json --type=mapping
      
      # 备份数据 - 全量
      elasticdump --input=http://127.0.0.1:9200/evaluating --output=/home/work/data/es-backup/evaluating_data.json --type=data --limit=2000 --parallel=5
      
      # 备份数据 -按范围
      elasticdump --input=http://127.0.0.1:9200/evaluating --output=/home/work/data/es-backup/evaluating_data_20230101.json --type=data --query='{"range": {"beginTime": {"gte": "2023-01-01", "lte": "2023-01-02"}}}'
      
      # 数据导出示例:
      elasticdump --input=http://127.0.0.1:9200/evaluating --output=/home/work/data/es-backup/20231204/evaluating_data.json --type=data --limit=2000 --parallel=10
      
      # 导入示例
      
       elasticdump --input=/home/work/es-import/evaluating_data_20231204.json --output=http://127.0.0.1:9200/evaluating  --type=data --limit=2000 --parallel=10 
      
       # Specify searchBody from a file
       elasticdump \
         --input=http://production.es.com:9200/my_index \
         --output=query.json \
         --searchBody=@/data/searchbody.json  
      
       # Copy a single shard data:
       elasticdump \
         --input=http://es.com:9200/api \
         --output=http://es.com:9200/api2 \
         --input-params="{\"preference\":\"_shards:0\"}"
      
      • https://blog.csdn.net/qq_39680564/article/details/118539979
    • 您可以尝试以下方法来优化elasticdump导出数据的速度和实现快速备份ES数据:

      1. 增加并行度:使用elasticdump的–parallel参数来增加并行度,允许多个文档同时导出,从而提高导出速度。例如:elasticdump --input=http://source:9200/my_index --output=/data/my_index_mapping.json --type=mapping --parallel=10

      2. 调整批量参数:

        –limit=2000 # 每次操作的objects数量,默认100,数据量大的话,可以调大加快迁移速度

      3. 使用快照和恢复:Elasticsearch提供了快照和恢复功能,可以通过创建快照来备份整个索引,并在需要时进行快速恢复。这种方式可以更快速地备份和恢复大量数据。

      4. 增加节点:如果可能的话,增加ES集群的节点数量可以提高数据导出的速度。更多的节点意味着更多的资源和并行处理能力。

      5. 优化网络和硬件:确保网络连接和硬件性能良好,包括ES集群节点和备份目标存储的网络连接,以及备份目标存储的读写性能。

      6. 使用专业工具:考虑使用专业的ES数据备份工具,这些工具通常针对大规模数据备份进行了优化,能够更快速地备份和恢复数据。

  3. 优势对比

    elasticsearch-dump

    - 优势
    - 可以跨集群备份和恢复数据。
    - 可以选择性备份和恢复特定的索引或文档。
    - 可以在不同版本的Elasticsearch之间进行数据迁移。
    - 劣势
    - 需要手动设置备份策略和执行备份操作。
    - 不支持自动化定期备份。

    Elasticsearch的快照和备份功能

    - 优势
    - 集成在Elasticsearch中,易于配置和管理。
    - 支持自动化定期备份。
    - 可以在集群级别进行备份和恢复。
    - 劣势
    - 通常只能在相同版本的Elasticsearch之间进行数据迁移。
    - 对于跨集群备份和恢复,需要额外的设置和配置。

    使用场景

    - elasticsearch-dump适用于需要跨集群备份和恢复、选择性备份和恢复特定数据、以及在不同版本的Elasticsearch之间进行数据迁移的场景。
    - Elasticsearch的快照和备份功能适用于需要集成、自动化定期备份、以及集群级别备份和恢复的场景。

文章来源:https://blog.csdn.net/UserFrank/article/details/135224335
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。