Fuzz工具对比及使用体验

什么是FUZZ

模糊测试（Fuzz Testing）是一种自动化的测试方法，通过输入大量的随机、无效或异常数据（称为“语料集”或“测试输入”）来评估目标程序的稳定性和安全性。在软件开发的安全性和鲁棒性方面，模糊测试被广泛用于查找潜在的漏洞和错误。

FUZZING TOOLS

依照对程序的内部可见性，笔者将模糊测试工具（FUZZING TOOL 或FUZZER 或FUZZING ENGINE）分为白盒模糊测试工具，灰盒模糊测试工具，黑盒模糊测试工具。

其特点与代表模糊测试工具如下：

工具使用及其优劣

1. AFL

1.1????介绍

American Fuzzy Lop (AFL) 是一款广泛使用的模糊测试工具，由 Micha? Zalewski 开发，并在 2013 年左右发布，其被用于自动发现软件中的安全漏洞和错误。

AFL 通过不断地生成和执行变异的输入数据，监控程序执行的变化，以探索新的代码路径。它利用基于覆盖率的反馈引导测试输入的生成，从而有效地提高发现新执行路径和潜在错误的概率。

对于许多后续诞生的AFL工具，以下的继承图可以看出来AFL影响甚大。

关于AFL的命名也有一个有趣的点，是关于FUZZING的空耳（日语：そらみみ 又叫误听，是指刻意的将所听到的词句的发音，以另一个发音近似的词句重写内容）。由于FUZZING与FUZZY（有绒毛的，模糊的）容易被听错，所以其作者的第一个FUZZING TOOLS叫了Bunny the Fuzzer，后续的作品因为作者想表达对早期工作的纪念和延续故而叫做了American Fuzzy Lop（美国长毛垂耳兔）。

1.2????演示

由于AFL不在维护，Google已经有了继承于AFL的工具AFL++，AFL和AFL++的使用几乎相同，所以使用下文将使用AFL++进行详细演示，此处只展示AFL的运行截图。

1.3? ? 使用体验

由于AFL++几乎是AFL的全面升级版，所以笔者在此处只说明AFL存在的部分问题：

1.不再维护，传言是开发AFL的作者离开了Google，随后就不维护了。google替代AFL的是AFL++。

2.BItmap冲突，AFL通常使用较为简单的覆盖率信息，这种覆盖的不准确和不完整给fuzzing带来了严重的局限性。首先，它会导致路径冲突，从而影响fuzzing挖掘出导致新崩溃的潜在路径。更重要的是，它也会影响fuzzing的最优决策。

在AFL中，AFL要用到一个64KB bitmap来保存Coverage的信息，在AFL进行fuzzing的时候，会发生碰撞，两个块之间的路径构成一个边，AFL为边赋了hash值，这个hash值就代表这条边，可是不同的边计算出的hash值可能是一样的，于是就发生了Collision ， Collision可能会导致某些input到达新的路径，但AFL却没有将该input作为seed。

2. AFL++

2.1????介绍

AFL++（AFLPlusPlus）是American Fuzzy Lop (AFL) 的一个增强版，它是一个社区驱动的项目，包含了许多新的功能和改进，以提高原始AFL的效率、速度和灵活性。AFL++集成了新的变异策略、性能优化和安全性增强等特性，旨在提供更全面的模糊测试体验。它保持了原始AFL用户友好的特性，同时引入了更多先进的技术，如更好的插桩技术、上下文感知的变异方法和更加灵活的API。

2.2????演示

以TCPdump为例。

首先安装环境:

# 安装tcpdump4.9.2wget https://github.com/the-tcpdump-group/tcpdump/archive/refs/tags/tcpdump-4.9.2.tar.gztar -xzvf tcpdump-4.9.2.tar.gz# 安装libpcap1.8.0wget https://github.com/the-tcpdump-group/libpcap/archive/refs/tags/libpcap-1.8.0.tar.gztar -xzvf libpcap-1.8.0.tar.gz# 重命名libpcap防止tcpdump找不到libpcap.amv libpcap-libpcap-1.8.0/ libpcap-1.8.0# 开启ASAN编译两个软件cd path/to/libpcap-1.8.0/export LLVM_CONFIG="llvm-config-11"CC=afl-clang-lto ./configure --enable-shared=no?AFL_USE_ASAN=1 make
cd path/to/tcpdump-tcpdump-4.9.2/AFL_USE_ASAN=1 CC=afl-clang-lto ./configure?AFL_USE_ASAN=1 makeAFL_USE_ASAN=1 make install
# 此处多个选项有助于提升代码覆盖率，增加发现漏洞的概率afl-fuzz?-m?none?-i?path/to/tcpdump-tcpdump-4.9.2/tests/?-o?path/to/out_file/?-s?123?--?path/to/tcpdump?-vvvvXX?-ee?-nn?-r?@@

FUZZING：

由于编译开启了ASAN，直接运行程序，文件为crash名，即可得到漏洞信息。

可以发现是一个堆溢出漏洞，触发漏洞处为/home/fuzz/fuzzing_tcpdump/tcpdump-tcpdump-4.9.2/./extract.h:184:20 in EXTRACT_16BITS。

2.3? ? 使用体验

AFL++作为一个覆盖率引导的模糊测试工具，拥有自己的变异算法，由于其使用广泛，因此相关教程及实验资料较多，学习使用的曲线平滑，并且其目前更新频率较高，对LLVM的支持以及各类Sanitizer的支持也使得其能更快的发现更多的漏洞。

其对于闭源应用程序（使用-Q参数开启QEMU模式）和有源码的应用程序都可以进行FUZZING，但是对于复杂的程序会碰见路径爆炸或执行速度较慢的问题，后者可以通过AFL++的持久模式来进行加速，此时需要使用者对被测程序拥有一定的了解（可能涉及到逆向和源码修改的问题）。

3. OSS-FUZZ

3.1????介绍

OSS-Fuzz 是一个由 Google 支持的开源软件（OSS）模糊测试项目，旨在帮助发现开源软件中的安全漏洞和稳定性问题。它提供了一个自动化的平台，集成了多种模糊测试工具，包括但不限于 AFL、LibFuzzer 和 Honggfuzz，为开源项目提供持续、大规模的模糊测试。

3.2????演示

# 构建fuzzing环境及fuzzers?cd /path/to/oss-fuzz?python infra/helper.py build_image $PROJECT_NAME?python infra/helper.py build_fuzzers --sanitizer <address/memory/undefined> $PROJECT_NAME?# 进行FUZZING??python?infra/helper.py?run_fuzzer?--corpus-dir=<path-to-temp-corpus-dir>?$PROJECT_NAME?<fuzz_target>

3.3? ? 使用体验

OSS-FUZZ最大的优点就是其可以基于docker一键安装环境并且进行FUZZING，而其中的Fuzz Targer（此处是模糊测试的目标函数）由开源项目的作者自己编写，其通常对软件的内部结构、功能和可能的薄弱环节有深入的了解。这使得他们能够编写更精准、更有效的Fuzz Target，针对软件中最关键或最容易出错的部分性。

但是其也有很明显的缺点，由于Google会全自动的执行这些已编写好的Fuzz Target，因而极小的概率能从中发现新的漏洞（笔者执行了20亿+测试用例，并没有任何crash产生）。此外，对于没有加入OSS-FUZZ的项目，只能自己去编写Dockerfile以及Fuzz Target这对于使用者的要求较高。

4. BOOFUZZ

4.1????介绍

Boofuzz 是一个开源的网络协议模糊测试框架，它是 Sulley Fuzzing Framework 的一个分支和继承者。Boofuzz 专为易用性和功能性设计，它提供了一个简单但强大的界面来发送测试数据，并观察和处理应用程序的响应。与其他模糊测试工具相比，Boofuzz 强调对网络协议的支持，允许用户快速创建和运行针对各种网络服务和协议的模糊测试案例。它支持自动化的崩溃检测、测试数据生成和网络通信，使其成为安全研究人员和测试人员寻找网络应用程序漏洞的一个有力工具。

4.2????演示

以对RTSP协议进行FUZZING为演示。

访问默认的26000端口可以看到图形化的日志。

4.3? ? 使用体验

Boofuzz的优点在于其是开源的，且源码设计并不难，使用者可以通过自己的理解实现各类协议的扩展，并且其也有一个web ui（默认端口26000）来进行日志的预览。

而其缺点也是在于除了它本身example中实现的协议以及可以github获取到的协议，使用者如果要测试除此之外的协议就必须去了解协议的实现规范，其中包括数据包的格式，数据包的顺序，字段的含义等内容，如此一来对使用者的能力要求较高，当然目前在ChatGPT等AI的帮助下，已经可以实现自动化的协议理解，但是也需要人工进行改动。并且Boofuzz的每一个原语都只有有限的变换，也导致了FUZZING的测试用例数是在模板编写时就定下来的，在所有变异执行完后Boofuzz的测试就结束了，可能会导致很多漏洞无法发现。

作者：hu1y40?

2023年12月29日?

洞源实验室