前面文章写过ES的据迁迁移方案，不同场景使用不同的移实迁移方案会事半功倍，今天咱们就来具体操作一下基于Snapshot方式来迁移数据，据迁Snapshot更加适用于大数据量跨集群迁移数据。移实并且索引创建快照的据迁过程是增量的。在给索引创建快照的移实过程中，Elasticsearch会分析存储在仓库中的据迁索引文件并且只会复制那些自从上次快照 之后新建或有所更新的文件。这使得多个快照以一种紧凑的移实方式存储在同一个仓库里。创建快照的据迁过程是以非阻塞方式执行的。一个索引在创 建快照的移实同时能够被检索和查询。尽管如此，据迁快照保存的移实是在开始进行创建快照的那个时间点的索引的视图。所以，据迁在开始创建快照之后的移实记录不会出现在这个快照里。在主分片启动之后创建快照的服务器托管据迁过程就会立即开始，并且之后不会改变位置。
开门见山，直接上操作，咱们使用Kibana可视化桌面来操作，当然也可以直接使用CURL的方式。 安装S3插件除了S3，也可以使用本地存储fs等，进入docker容器。 复制docker exec -it c76785ab5a8b bash#安装插件 ./bin/elasticsearch-plugin insyall repository-s3exit1.2.3.4.重启容器(不建议这样安装，万一容器挂了重新启动后就会没有，建议使用挂载的方式)。 复制docker restart c76785ab5a8b1.查看是否安装成功。 复制GET _cat/pluginsc76785ab5a8b analysis-ik 7.8.1c76785ab5a8b repository-s3 7.8.11.2.3.显示这样表明安装成功，一般情况下插件版本是和ES的版本对应的 创建仓库创建仓库之前咱们先把minio的AK、SK在后台配置(安全)，以同样的方式进入docker中 复制./bin/elasticsearch-keystore add s3.client.default.access_key./bin/elasticsearch-keystore add s3.client.default.secret_key1.2.添加后退出重启(不建议)。 然后开始创建仓库。 复制PUT _snapshot/stock_backup{ "type": "s3", "settings": { "bucket": "stock", "protocol": "http", "disable_chunked_encoding": "true", "endpoint": "172.0.0.1:9000"} }1.2.3.4.5.6.7.8.9.10.验证是否创建成功。 复制GET _snapshot/_all?pretty{ "stock_backup": { "type" : "s3", "settings": { "bucket" : "stock", "disable_chunked_encoding" : "true", "endpoint" : "172.0.0.1:9000", "protocol" : "http"} } }1.2.3.4.5.6.7.8.9.10.11.12.13.此时，仓库已经创建好了，咱们直接备份数据。 备份全量备份。 复制PUT _snapshot/stock_backup/snapshot_all1.部分备份，站群服务器例如：只备份其中的index。 当然也可以添加参数： indices：要本分的index，逗号分割。max_wait:最大等待时间。wait_interval:等待间隔。wait_for_completion：参数指定创建snapshot的请求是否等待快照创建完成再返回。ignore_unavailable：把这个选项设置为 true 的时候在创建快照的过程中会忽略不存在的索引。默认情况下， 如果没有设置 ignore_unavailable 在索引不存在的情况下快照请求将会失败。include_global_state：为false 能够防止 集群的全局状态被作为快照的一部分存储起来。默认情况下，如果快照中的1个或多个索引不是全部主分片都可用会导致整个创建快照的过程失败。 通过设置 partial 为 true 可以改变这个行为。 复制PUT _snapshot/stock_backup/default_all{ "indices": "dec_default_news,dec_default_rate,dec_default_ha", "ignore_unavailable": true, "include_global_state": false}1.2.3.4.5.6.查看备份状态。 复制GET _snapshot/stock_backup/default_all #查看单个 { "snapshots": [ { "snapshot" : "default_all", "uuid" : "4ZgKyuBWTE2vtowAczIDpQ", "version_id" : 7080199, "version" : "7.8.1", "indices": [ "dec_default_news", "dec_default_rate", "dec_default_ha"], "include_global_state" : false, "state" : "SUCCESS", "start_time" : "2022-04-02T03:16:09.842Z", "start_time_in_millis" : 1648869369842, "end_time" : "2022-04-02T03:16:09.842Z", "end_time_in_millis" : 1648869369842, "duration_in_millis" : 0, "failures": [ ], "shards": { "total" : 3, "failed" : 0, "successful" : 3} } ] } GET _snapshot/stock_backup/_all?pretty #查看所有 { "snapshots": [ { "snapshot" : "default_all", "uuid" : "4ZgKyuBWTE2vtowAczIDpQ", "version_id" : 7080199, "version" : "7.8.1", "indices": [ "dec_default_news", "dec_default_rate", "dec_default_ha"], "include_global_state" : false, "state" : "SUCCESS", "start_time" : "2022-04-02T03:16:09.842Z", "start_time_in_millis" : 1648869369842, "end_time" : "2022-04-02T03:16:09.842Z", "end_time_in_millis" : 1648869369842, "duration_in_millis" : 0, "failures": [ ], "shards": { "total" : 3, "failed" : 0, "successful" : 3} } ] }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.此时已经备份成功。 恢复咱们的操作是跨集群的数据迁移，同样的b2b信息网操作，在另一个集群里面创建相同的仓库 复制PUT _snapshot/stock_backup{ "type": "s3", "settings": { "bucket": "stock", "protocol": "http", "disable_chunked_encoding": "true", "endpoint": "172.0.0.1:9000"} }1.2.3.4.5.6.7.8.9.10.然后看下现在有备份数据。 复制GET _snapshot/stock_backup/_all?pretty{ "snapshots": [ { "snapshot" : "default_all", "uuid" : "4ZgKyuBWTE2vtowAczIDpQ", "version_id" : 7080199, "version" : "7.8.1", "indices": [ "dec_default_news", "dec_default_rate", "dec_default_ha"], "include_global_state" : false, "state" : "SUCCESS", "start_time" : "2022-04-02T03:16:09.842Z", "start_time_in_millis" : 1648869369842, "end_time" : "2022-04-02T03:16:09.842Z", "end_time_in_millis" : 1648869369842, "duration_in_millis" : 0, "failures": [ ], "shards": { "total" : 3, "failed" : 0, "successful" : 3} } ] }1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.发现已经存在了备份的数据，此时只需要恢复就行。 复制POST _snapshot/stock_backup/default_all/_restore{ "acknowledged" : true}1.2.3.4.等待执行结束就OK。 复制GET _cat/indicesyellow open dec_default_news HWykC-xpQVK0ZqK-3NjXVA 1 1 308 0 208kb 208kbyellow open dec_default_rate F3JFzHF-QK2AH_9IUmnacA 1 1 409471 0 221.5mb 221.5mbyellow open dec_default_ha c78OXNB1T3KafgVHj7TwiA 1 1 164 0 250.2kb 250.2kb1.2.3.4.大功告成。
|
