【服务器数据恢复】FreeNAS+ESXi数据恢复案例

服务器数据恢复环境：
一台服务器，虚拟化系统为esxi，上层使用iSCSI的方式实现FC SAN功能，iSCSI通过FreeNAS构建。
FreeNAS采用了UFS2文件系统，esxi虚拟化系统里有3台虚拟机：其中一台虚拟机安装FreeBSD系统，存放数据库文件；一台虚拟机存放网站数据；一台虚拟机安装Windows server系统，存放数据库数据和程序代码。

服务器故障：
机房供电不稳，服务器非正常关机，重启服务器后发现ESXI虚拟化系统无法连接存储。工作人员对服务器进行故障排查，发现UFS2文件系统出现故障，于是fsck修复UFS2文件系统并将ESXI虚拟化系统连接到存储上。
检查文件系统及数据，发现原服务器上的文件系统和数据都无法识别。工作人员又将vmfs进行了格式化操作，导致数据丢失。

服务器数据恢复过程：
1、将服务器所有硬盘编号后取出，经过硬件工程师检测，没有发现有硬盘存在物理故障。将所有磁盘以只读方式进行扇区级全盘镜像，镜像完成后按照编号将所有磁盘还原到原服务器中。后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。
2、基于镜像文件分析底层数据。经过分析，北亚企安数据恢复工程师发现了一个被命名为iscsidata的大小为几百GB的大文件。根据UFS2文件系统的存储结构定位到这个大文件的iNode数据。
3、查看iNode数据发现iscsidata文件被重建过，iNode指针指向的数据量非常少。这种情况下要进入vmfs文件系统层去恢复数据就需要先分析出FreeNAS层的必要信息和数据。
4、通过分析得到如下信息：
UFS2文件系统块大小为16kb，segment大小为2kb，柱面组大小为188176kb，数据指针大小为8字节，每个块可容纳数据指针数量为2048个。
通过上面信息计算：一个二级指针块可存储的数据量=2048*2048*16KB=64GB。三级指针块可存储的数据量=64GB*2048=128TB。
5、尝试通过iscsidata文件的三级指针块来恢复FreeNAS层的数据。由于iscsidata文件曾经被重建过，部分指针被重建的数据所覆盖，原文件的iNode和重建后的文件的iNode所在的位置完全一致，没有其他可用于恢复数据的iNode数据。
6、北亚企安数据恢复工程师根据服务器的实际数据情况编写小程序收集有用的指针块，通过小程序收集到了大量二级指针块和三级指针块。
7、分析三级指针块后发现这些指针块都是无效的，应该是重建iscsidata文件时被覆盖了。新的iscsidata文件在挂载到ESXi后有个VMFS格式化过程，本案例中的ESXi使用GPT分区，GPT分区会在磁盘最后写入冗余的GPT头和分区表信息数据，这个过程会使用iscsidata文件的三级指针块。
8、分析二级指针块，对有大量二级指针块的指向数据进行DUMP，然后再从磁盘中的数据定位到二级指针。通过这种方式获取到大量DUMP的数据。
9、根据NTFS和UFS2文件系统结构定位到vmfs层，继而定位到DUMP出的单个64GB文件&组合数据。
10、经过复杂的查询和重组操作，最终恢复出3台虚拟机及虚拟机内的全部数据。
11、将恢复出来的数据上传到准备好的环境中进行验证，经过用户方的仔细验证，确认所有恢复数据完整有效。本次服务器数据恢复工作完成。