minio服务数据迁移-rclone迁移工具

2024-01-03 15:33:17

一、背景:

在生产运行过程中经常有遇见数据迁移的工作,这里介绍了如何进行minio服务的数据迁移过程。

二、迁移思路:

  1. minio服务/集群的数据迁移思路是需要新建一个配置、密码一样的minio服务/集群;
  2. 在中间服务器上安装rclone工具,确保该服务器能访问新旧的minio服务/集群;
  3. 修改rclone配置文件,明确源端和目标配置;sync支持增量同步,可以工作时间做好全量迁移,在迁移时进行增量迁移;
  4. 执行sync命令进行数据同步工作;
  5. 验证业务是否恢复正常;

三、迁移过程:

(一)、创建目标minio服务

创建目标端端minio服务/集群。这里忽略;

(二)、在中间服务器上安装rclone服务

1.安装包上传虚机/home路径

#?/home/rclone-v1.62.2-linux-amd64.zip

2.安装解压缩服务

# yum -y install unzip

3.解压

# unzip rclone-v1.62.2-linux-amd64.zip

4.赋执行权

chmod +x?/home/rclone-v1.62.2-linux-amd64/rclone

5.生成配置文件

rclone生成的文件路径:/root/.config/rclone/rclone.conf

# pwd?

/home/rclone-v1.62.2-linux-amd64

配置文件生成

#?./rclone config

Current remotes:
n) New remote
s) Set configuration password
q) Quit config
n/s/q> q
注:这里不需要通过这种方式直接去修改配置,可以直接修改配置文件的。

(三)、配置rclone数据同步配置文件

# cat /root/.config/rclone/rclone.conf 
[old] #历史minio服务
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxxx
secret_access_key = xxxxxx
region = cn-east-1
endpoint = http://10.0.176.163:22829
location_constraint = 
server_side_encryption = 
 
[new] #新minio服务
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxxx
secret_access_key = xxxxxx
region = cn-east-1
endpoint = http://10.0.176.163:20445
location_constraint = 
server_side_encryption = 

注:这里需要修改的地方有如下:

minio服务的access值:

access_key_id = xxxxxx

minio服务的secret值:

secret_access_key = xxxxxx

minio服务的地址:

endpoint = http://10.0.176.163:22829

(四)、执行数据同步命令?

将源端数据同步到目标端,只更新目的地址的数据。获取源集群Buckets名称;

(1)执行迁移

rclone 命令格式

rclone sync old:Buckets?new:Buckets

执行迁移

1、进入rclone解压目录

# cd /home/rclone-v1.62.2-linux-amd64

2、Buckets名称保持一致,执行等待

#./rclone sync old:nacos?new:nacos

(五)、验证数据?

验证目标端端数据是否和源端是否一致,就是直接登入到minio服务上,对接数据即可。


?到此,minio服务的数据同步就完成了,数据同步的时间,跟数据量有关的,一个桶里的数据很大,同步就慢。?

文章来源:https://blog.csdn.net/jiang0615csdn/article/details/135363245
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。