redis 三主六从高可用dockerswarm高级版(不固定ip)

redis集群(cluster)笔记

redis 三主三从高可用集群docker swarm

redis 三主六从高可用docker(不固定ip)

redis 三主六从高可用dockerswarm高级版(不固定ip)

此博客解决，redis加入集群后，是用于停掉后重启，将nodes.conf中的旧的Ip替换为新的IP，从而达到不会因为IP变化导致集群无法正常使用，以及使用docker stack 启动多个副本 ，自动化脚本加入集群

跨主机安装rediscluster集群，本文采用swarm的方式，使用同一个网络，通过对挂载目录的使配置文件互相同步，从而让redis集群失败自重启达到集群的高可用。

1.环境准备

• docker
• docker-compose
• swarm集群
• nfs（或者挂载目录自动同步信息）
• 安装文件

1.1 swarm环境安装

主机	IP
node1	192.168.56.100
node2	192.168.56.101
node3	192.168.56.102

在三台分别执行 开放防火墙：

firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.56.100" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.56.101" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.56.102" accept"
firewall-cmd --reload
firewall-cmd --list-all
systemctl restart docker

1.2 在3台主机上配置swarm

• 在node1上执行：

docker swarm init --advertise-addr 192.168.56.100
docker swarm join-token manager

返回类似以下内容：

docker swarm join --token SWMTKN-1-614xi9dvksycykobgifxb4pgopc1wwgczwqct5wqkq8zao6tmx-0ds4jj3ozclrr2wukcaoakxso 192.168.56.100:2377

• 在node2、node3上执行上面的返回结果：

docker swarm join --token SWMTKN-1-2c2xopn2rld8oltcof24sue370681ijhbo3bwcqarjlhq9lkea-2g53o5qn2anre4j9puv4hecrn 192.168.0.101:2377

1.3 创建swarm网络

在node1上执行以下命令：

docker network create -d overlay --attachable scsdm-net

1.4 查看node

docker node ls

2.安装准备

2.1 安装前准备

/home/redis 目录在三台机器互相同步监听可以查看这个文档进行部署，如果使用k3s，k8s及其他编排方式，使用同一个挂载目录就不进行文件同步

2.2 redis相关文件准备

filePath="/home/redis"
mkdir -p ${filePath}/data
cd $filePath
cat > ${filePath}/docker-stack-redis.yml << EOF
version: '3'

networks:
  scsdm-net:
    external: true 

services:
  redis-cluster:
    image: redis:6.2.4-alpine
    container_name: "redis-cluster{{.Task.Slot}}"
    hostname: "redis-cluster"
    environment:
      - MY_TASK_SLOT={{.Task.Slot}}
    volumes:
      - "$filePath/data:/data"
      - "$filePath/redisStart.sh:/redis/redisStart.sh"
    command: "sh /redis/redisStart.sh"
    restart: always
    privileged: true
    networks:
     - scsdm-net
    deploy:
      replicas: 9
EOF

cat > ${filePath}/redisStart.sh << EOF
#!/bin/sh

CURRENT_DIR=\$(
   cd "\$(dirname "\$0")"
   pwd
)
nowDate=\$(date "+%Y%m%d%H%M%S")
logFileName="redisStart_"\$nowDate.log
touch \$CURRENT_DIR/\${logFileName}
# 日志函数
log(){
  echo "["\$(date "+%Y-%m-%d %H:%M:%S")"]"\$1 | tee -a \$CURRENT_DIR/\$logFileName
}

# 创建当前的
mkdir -p /data/\${MY_TASK_SLOT}
redisConfPath="/etc/redis.conf"
echo "" >> \$redisConfPath
echo "dir /data/\${MY_TASK_SLOT}" >> \$redisConfPath
echo "port 6379" >> \$redisConfPath
echo "masterauth '123456'" >> \$redisConfPath
echo "requirepass '123456'" >> \$redisConfPath
echo "cluster-enabled yes" >> \$redisConfPath
echo "cluster-config-file nodes.conf" >> \$redisConfPath
echo "cluster-node-timeout 5000" >> \$redisConfPath
echo "# 禁用AOF" >> \$redisConfPath
echo "appendonly no" >> \$redisConfPath

# 通过ifconfig命令获取IP地址
IP=\$(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | awk '{print \$1}')
log "Container IP Address is: \${IP}"
CLUSTER_CONFIG="/data/\${MY_TASK_SLOT}/nodes.conf"

echo "\$IP" > /data/\${MY_TASK_SLOT}/ip

if [ -f \${CLUSTER_CONFIG} ]; then
    if [ -z "\${IP}" ]; then
       log "Unable to determine Pod IP address!"
       exit 1
    fi     
    log "Updating my IP to \${IP} in \${CLUSTER_CONFIG}"
    sed -i -e "/myself/s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/\${IP}/g" \${CLUSTER_CONFIG}
fi

redis-server /etc/redis.conf 

EOF




cat > ${filePath}/join-redis-cluster.sh << EOF
#!/bin/bash
CURRENT_DIR=\$(
   cd "\$(dirname "\$0")"
   pwd
)
# 指定要遍历的目录
directory="\${CURRENT_DIR}/data"

# 指定要查找的文件名
filename="ip"
temFileName="ipTemp.txt"
rm -rf \$temFileName
find "\$directory" -type f -name "\$filename" | while read -r file
do
	echo -n "\$(cat \$file):6379 " >> \$temFileName

done

REDIS_CLUSTER_CMD="redis-cli --cluster create "\$(cat \$temFileName)" --cluster-replicas 2 -a '123456'"
rm -rf \$temFileName

# 获取容器名称
REDIS_CONTAINER_NAME=\$(docker ps -a | grep "redis-cluster" | awk '{print \$1}'| head -n 1 )

# 生成 redis-cli 命令
echo "生成 redis-cli 命令:\$REDIS_CLUSTER_CMD"

# 进入 Redis 容器并执行命令
DOCKER_EXEC_CMD="echo 'yes' | docker exec -i \$REDIS_CONTAINER_NAME sh -c \"\$REDIS_CLUSTER_CMD\""
echo "Executing Docker Exec Command:"
echo "\$DOCKER_EXEC_CMD"
echo 'yes' | docker exec -i \$REDIS_CONTAINER_NAME sh -c "\$REDIS_CLUSTER_CMD"

echo "查询节点情况"
echo "docker exec -it \$REDIS_CONTAINER_NAME sh -c \"redis-cli -c -a '123456'\""
echo "cluster nodes"
echo "测试其他连接情况"
echo "docker run -it --rm --net=scsdm-net redis:6.2.4-alpine sh -c \"redis-cli -h redis-cluster -c -a '123456'\""


EOF


cat > ${filePath}/startRedis.sh << EOF
#!/bin/bash
docker stack deploy -c docker-stack-redis.yml redis
EOF

cat > ${filePath}/stopReids.sh << EOF
#!/bin/bash
docker stack rm redis
EOF

cat > ${filePath}/restartRedis.sh << EOF
#!/bin/bash
# rm
docker stack rm redis
# start
docker stack deploy -c docker-stack-redis.yml redis
EOF

cat > ${filePath}/showRedisStatus.sh << EOF
#!/bin/bash
# show status
docker stack ps redis --no-trunc
EOF

3. 启动 redis集群

进入 node1服务器

cd ${filePath}
bash startRedis.sh
ls data

当出现下面文件后执行命令加入集群

bash join-redis-cluster.sh

4. springboot 配置集群

springboot 配置集群


spring.redis.port = 6379
spring.redis.password = 123456
spring.redis.cluster.nodes[0] = redis-cluster:6379

5.测试用例

5.1 用例1

设置一个值
将对应值的节点关闭
查看集群是否全部启动正常
查看设置的参数

结果：
master改变了，服务自动创建了新的节点自动加入

5.2 用例2

重启redis 查看集群是否正常
全部重启暂时不正常，可以重新部署

5.3 用例3

使用同一个网络连接集群，查看值
docker run -it --rm --net=scsdm-net redis:6.2.4-alpine sh -c "redis-cli -h redis-cluster -c -a '123456'"