GFS分布式文件系统

2023-12-13 06:38:19

gfd glusterFS开源的分布式文件系统

存储服务器 客户端 以及网络(NFS/samba)网关

传统式老的分布式系统是依赖于元服务器,元服务器保存存储节点的目录树信息。

一旦元服务器故障,所有的存储节点全部失效

在这里插入图片描述

现在的GFS已经取消了元服务器机制,数据横向扩展能力更强,可靠性更强,存储效率也更高

GFS的特点:

1、扩展性更强,高性能

2、高可用,可以自动对文件进行复制,还可以实现多次复制,确保数据总是可以访问,如果是硬件出了问题,也不影响,还是可以正常访问

3、全局统一的命名空间。所有节点都在一个分支的管理之下,客户端访问分支节点即可

4、弹性卷。类似于LVM。不同硬盘上的不同分区组成一个逻辑上的硬盘。

不同的服务器上的不同的硬盘分区组成一个分布式卷。类似于LVM 打破了本地服务器的局限性。也是可以动态的扩容

5、基于标准协议,GFS支持很多种存储服务,NFS FTP HTTP以及自身的GFS协议都可以支持,应用程序可以直接使用数据,不需要做任何的修改


GFS的组件和术语

1、BRICK(存储块),存储服务器提供的用于物理存储的专用分区,GFS当中的基本存储单元。也是对外提供的存储目录。

由服务和存储目录的绝对路径组成

server:dir

192.168.211.10:/opt/gfs

也可以用主机名

node1:/opt/gfs

2、Volume 逻辑卷 一个逻辑卷就是一组brick的集合 。类似于LVM。我们管理GFS实际上就是管理这些卷

3、FUSE:GFS的一个内核模块,可以允许用户创建自己的文件系统。

4、VFS:内核空间对用户提供的访问磁盘的接口。

5、服务端:在每个存储节点上都要运行。glusterd(后台管理进程)


工作流程

在这里插入图片描述


GFS卷的类型

分布式卷,也是GFS的默认卷类型

条带卷(6.0之后已经没有了)

复制卷(镜像化)

分布式复制卷

  • 分布式卷的特点:将文件数据通过HASH算法分布到设置的所有brick server GFS的默认卷。属于raid0,没有容错机制

在这里插入图片描述

在分布式卷模式下,没有对文件进行分开,直接存储在某个server的节点上,存取效率也没有提高,直接使用本地文件系统进行存储

  • 复制卷:类似于raid 1,文件会同步在多个brick server上。读性能上升,写性能稍差
    在这里插入图片描述

复制卷具备冗余,坏一个节点不影响数据,但是因为要保存副本,所以磁盘利用率在50%

  • 分布式复制卷

在这里插入图片描述

文件会在组内同步,不同的组之间数据未必同步 在工作中主要用的比较多的就是分布式复制卷


实验环节

实验环境

四台服务器

node1 192.168.211.10 磁盘:/dev/sdb1 /data/sdb1

/dev/sdc1 /data/sdc1

/dev/sdd1 /data/sdd1

node2 192.168.211.20 磁盘:/dev/sdb1 /data/sdb1

/dev/sdc1 /data/sdc1

/dev/sdd1 /data/sdd1

node3 192.168.211.30 磁盘:/dev/sdb1 /data/sdb1

/dev/sdc1 /data/sdc1

/dev/sdd1 /data/sdd1

node4 192.168.211.40 磁盘:/dev/sdb1 /data/sdb1

/dev/sdc1 /data/sdc1

/dev/sdd1 /data/sdd1

客户端1个

添加节点服务

分布式卷 brick

名称自定义(唯一即可) node1:/data/sdb1 node2:/data/sdb1 force

卷名,唯一不可重复

node1:/data/sdb1 node2:/data/sdb1 :挂载点

force:强制创建

可以试试,停止了节点,关闭服务之后,不删除现有卷的情况下,能否继续恢复正常读写功能

分布式复制卷是最常用的分布式文件存储方式,根据策略,存储文件时还是分布式的存储方式,分开存储,但是会进行复制。所以也拥有冗余的功能,但是磁盘利用率只有50%

文章来源:https://blog.csdn.net/2301_78496557/article/details/134943259
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。