实时数据备份实践inotify和rsync联动

2023-12-13 16:41:08

目录

一、实时数据备份

1.实时数据备份

2.定时任务周期性的数据备份

3.实时数据备份

4.Inotify机制

二、实践

1.实时复制环境准备

2.实时复制概念

3.Inofity+Rsync实施复制实战

4.配置好rsync守护进程

5.检查linux是否支持inotify

6.安装inotyify--tools

7.inotifywait命令

8.inotifywait可监控事件

三、脚本化实现事件检测与rsync进行数据同步

1.rsync客户端创建同步脚本

2.创建/data确保文件存在

3.测试shell脚本


一、实时数据备份

1.实时数据备份

企业网站和应用都得有完善的数据备份方案,目的都是为了保证数据不丢失

2.定时任务周期性的数据备份

需要周期性数据备份的数据类型一般有这几种

  • 网站后台程序代码,运维配置文件,一般都会使用定时任务执行周期性的备份脚本,然后在通过rsync工具吧数据备份到 backup备份服务器上
  • 比如数据库文件,也使用定时任务配合mysql自身的备份命令,结合数据库备份,再通过rsync上传到备份服务器

3.实时数据备份

实时复制方案,是最适合企业重要的数据备份方案,用于用户提交的数据进行备份,jpg,png,tar,zip,mp4,txt,html

都可以使用inotify+sersync+rsync进行实时的数据备份

对于数据库文件,我们还有会更复杂的分布式备份方案,我们会吧数据拆分成多份,然后进行备份操作

对于提交到数据库的数据,我们还会使用数据库比如主从复制,进行备份操作

4.Inotify机制

  • Inotify是一种异步的系统事件监控机制,通过Inotify可以监控文件系统中添加、删除、修改等事件,利用这个内核接口,第三方软件可以监控文件系统下的情况变化。
  • 那么Inofity-tools就是该类软件的实现,是一个监控指定目录数据实时变化的软件。
  • 实现了Inotify的软件还有 Sersync 、 Inotify-tools
  • Sersync软件是在Inotify的基础上进行开发的,功能更加强大,支持配置文件中定义、重试机制、过滤机制、提供CDN数据更新

[Inotify机制的优点]

  • 监控文件系统的事件变化,通过复制工具实现实时数据复制
  • 支持多线程实时复制

[lnotify的缺点]

实测当文件数量大于200个 (10~100kb) ,复制存在延迟


二、实践

1.实时复制环境准备

准备两台虚拟机

  • 一个是数据客户端
  • 一个是rsync备份服务器

2.实时复制概念

  • Inotify-tools 依赖于rsync守护进程 以及要部署复制脚本 监控目录数据的变化
  • Sersync* 依赖于rsync守护进程 需要定制配置文件 监控目录数据的内容变化

3.Inofity+Rsync实施复制实战

无论是Inotify-tools还是Sersync、本身的核心功能都是监控指定目录内的数据变化 ,具体的复制到远端服务器的功能还是借助Rsync工具配合,Inotify机制软件工作流程如下

  • 备份源客户端开机运行Inotify软件,检测指定目录的文件系统变化
  • 一旦获取到指定监控目录的数据发生变化,即刻执行Rsync命令复制数据
  • 将变化的数据发送到Rsync服务端的备份目录。

4.配置好rsync守护进程

systemctl status rsyncd

可以查看我以前的守护进程实践的文章

5.检查linux是否支持inotify

检查当前linux版本,linux内核高于2.6.13版本

[root@localhost backup]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_queued_events
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_user_instances
-rw-r--r--. 1 root root 0 Nov 13 02:09 max_user_watches
[root@localhost backup]# 
  • max_queued_events 设置intofy实例事件队列可容纳的事件数量
  • max_user_instances 设置每个用户可以运行的事件命令进程数max
  • max_user_watches 设置intify命令检测的文件数量

6.安装inotyify--tools

 yum install -y epel-release && yum update
 yum -y install inotify-tools

检查有关inotify的操作命令

rpm -ql inotify-tools | head -2

  • inotifywait: 在被监控的目录等待特定文件系统事件 (open、close、delete等事件),执行后处于阻塞状态,适合在Shell脚本中使用,是实现监控的关键
  • Inotifywatch: 收集被监控的文件系统使用的统计数据 (文件系统事件发生的次数统计)

7.inotifywait命令

  • inotifywait用于等待文件或文件集上的一个待定事件,可以监控任何文件和目录设置,并且可以递归地监控整个目录树
  • inotifywatch用于收集被监控的文件系统计数据,包括每个inotify事件发生多少次等信息
  • 从上面可知inotifywait是一个监控事件,可以配合shell脚本使用它。与它相关的参数:

语法格式: inotifywait [-hcmrg][-e][-t][-format][-timefmt][...]:

  • -m:即“-monitor”表示始终保持事件监听状态。
  • -d:类似于-m参数,将命令运行在后台,记录出发的事件信息,记录在指定文件里,加上--outfile参数
  • -r:即“-recursive” 表示递归查询目录
  • -q:即“-quiet” 表示打印出监控事件
  • -o:即“-outfile”输出事情到一个文件而不是标准输出
  • -s: 即“-syslog”输入错误信息到系统日志

-format :指定输出格式,常用的格式符

  • %w: 表示发生事件的目录
  • %f: 表示发生事件的文件
  • %e: 表示发生的事件
  • %Xe:事件以“X”分隔
  • %T: 使用由-timefmt定义的时间格式

-timefmt: 指定时间格式,用于-format选项中的%T格式

利用inotify软件监控的事件主要是如下:

  • Events 含义
  • access 文件或目录被读取
  • modify 文件或目录内容被修改
  • attrib 文件或目录属性被改变
  • close 文件或目录封闭,无论读/写模式
  • open 文件或目录被打开
  • moved_to 文件或目录被移动至另外一个目录
  • create 文件或目录被创建在当前目录
  • move 文件或目录被移动到另一个目录或从另一个目录移动至当前目录
  • delete 文件或目录被删除
  • umount 文件系统被卸载

使用这个监控

inotifywait -mrq --timefmt "%F" --format "%T %w %f" -e create /data

参数解释

inotifywait 是命令

-m 表示一直处在检测状态

-r 递归的检测

-q 打印出检测的事件信息

--timefmt 对时间格式化

--format 对日志信息格式化

%T 使用有--timefmt所定义的格式

%w 表示显示事件发生的目录

%f 表示事件发生的文件

-e 默认inotifywait是监控所有事件,可以使用-e单独的指定某种事件 events

这个守护进程会占据整个shell的控制权

这里监控了/data的创建文件信息,我们创建文件看看是否会有输出

这里立刻有了输出

时间不够精细,我们再改一下

inotifywait -mrq --timefmt "%y-%m-%d %T" --format "%T %w %f" -e create /data

%d 日期 几号

%m 月份 1-12

%T 年份的意思 显示后2位

%T 显示时分秒

8.inotifywait可监控事件

inotify所能监控的事件标志如下:

  • IN_ACCESS 被监控项目或者被监控目录中的条目被访问过。例如,一个打开的文件被读取。
  • IN_MODIFY 被监控项目或者被监控目录中的条目被修改过。例如,一个打开的文件被修改。
  • IN_ATTRIB 被监控项目或者被监控目录中条目的元数据被修改过。例如,时间戳或者许可被修改。
  • IN_CLOSE_WRITE 一个打开的,等待写入的文件或目录被关闭。
  • IN_CLOSE_NOWRITE 一个以只读方式打开的文件或目录被关闭。
  • IN_CLOSE 一个掩码,可以很便捷地对前面提到的两个关闭事件(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)进行逻辑操作。
  • IN_OPEN 文件或目录被打开。
  • IN_MOVED_FROM 被监控项目或者被监控目录中的条目被移出监控区域。该事件还包含一个 cookie 来实现 IN_MOVED_FROM 与 IN_MOVED_TO 的关联。
  • IN_MOVED_TO 文件或目录被移入监控区域。该事件包含一个针对 IN_MOVED_FROM 的 cookie。如果文件或目录只是被重命名,将能看到这两个事件,如果它只是被移入或移出非监控区域,将只能看到一个事件。如果移动或重命名一个被监控项目,监控将继续进行。参见下面的 IN_MOVE-SELF。
  • IN_MOVE 可以很便捷地对前面提到的两个移动事件(IN_MOVED_FROM | IN_MOVED_TO)进行逻辑操作的掩码。
  • IN_CREATE 在被监控目录中创建了子目录或文件。
  • IN_DELETE 被监控目录中有子目录或文件被删除。
  • IN_DELETE_SELF 被监控项目本身被删除。监控终止,并且将收到一个 IN_IGNORED 事件。
  • IN_MOVE_SELF 监控项目本身被移动。

我们创建一个delete事件实例

inotifywait -mrq --timefmt "%y-%m-%d T" --format "%T %w %f 当前事件有: %e" -e delete /data

删除一个文件

弹出一个事件

close_write能够监控创建和修改两个事件

inotifywait -mrq --timefmt "%y-%m-%d T" --format "%T %w %f 当前事件有: %e" -e close_write /data

只能检测到创建,不能检测到删除

修改能检测


三、脚本化实现事件检测与rsync进行数据同步

rsync守护进程客户端和服务端配置请看我前面的博客

1.rsync客户端创建同步脚本

mkdir /myshell/
cd /myshell/
vim inoti_rsy.sh

写入下面shell语句

#!/bin/bash
cmd='/usr/bin/inotifywait'
$cmd  -mrq --timefmt "%y-%m-%d %T" --format " %T %w%f 当前事件有: %e" -e close_write,delete /data | \
while read line
do
    cd /data && \
    rsync -avzP  --delete ./ rsync_backup@192.168.0.107::backup --password-file=/etc/rsync.password
done

2.创建/data确保文件存在
?

mkdir /data

chmod 700 /data/

3.测试shell脚本

sudo bash inoti_rsy.sh

再开个shell测试

touch /data/2.txt

可以看到成功同步了

看下服务端同步的文件

修改下2.txt文件

vim /data/2.txt

写入这个

也有同步信息

看下服务端,也已经同步成功!

文章来源:https://blog.csdn.net/bmxch/article/details/134555296
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。