模型量化 | Pytorch的模型量化基础

官方网站：Quantization — PyTorch 2.1 documentation

Practical Quantization in PyTorch | PyTorch

PyTorch量化结构

• PyTorch 具有与量化张量对应的数据类型，这些张量具有许多张量的特征。
• 人们可以编写具有量化张量的内核，就像浮点张量的内核一样，以自定义其实现。PyTorch 支持将常见操作的量化模块作为 和 name-space 的一部分。torch.nn.quantizedtorch.nn.quantized.dynamic
• 量化与 PyTorch 的其余部分兼容：量化模型是可跟踪和可编写脚本的。服务器和移动后端的量化方法几乎相同。可以轻松地在模型中混合量化和浮点运算。
• 浮点张量到量化张量的映射可以使用用户定义的观察者/假量化模块进行自定义。PyTorch 提供了适用于大多数用例的默认实现。

【量化张量，量化模型 ，工具上的量化】

PYTORCH的三种量化模式

🫧动态量化?Dynamic qunatization：使权重为整数(训练后)

🤖训练后静态量化?Static quantization：使权值和激活值为整数(训练后)

量化感知训练?Quantization aware training：以整数精度对模型进行训练

🫧动态量化

PyTorch 支持的最简单的量化方法称为动态量化。这不仅涉及将权重转换为 int8（就像所有量化变体一样），还涉及在进行计算之前将激活转换为 int8（因此是“动态”的）。因此，计算将使用高效的 int8 矩阵乘法和卷积实现来执行，从而加快计算速度。但是，激活以浮点格式读取和写入内存。

🤖训练后静态量化

可以通过将网络转换为同时使用整数算术和 int8 内存访问来进一步提高性能（延迟）。静态量化执行额外的步骤，即首先通过网络提供批量数据并计算不同激活的结果分布（具体来说，这是通过在记录这些分布的不同点插入“观察者”模块来完成的）。此信息用于确定在推理时应如何具体量化不同的激活

量化感知训练

量化感知训练 （QAT）?是第三种方法，也是这三种方法中通常最准确的一种方法。使用 QAT，在训练的前向和后向传递期间，所有权重和激活都是“假量化”的：也就是说，浮点值被舍入以模仿 int8 值，但所有计算仍然使用浮点数完成。因此，训练期间的所有权重调整都是在“意识到”模型最终将被量化的事实的情况下进行的;因此，在量化后，该方法通常比其他两种方法产生更高的准确度。

官网中提供的一些建议，不同的网络选择不同的量化模式：

结果显示在性能和精度上都有提高

计算机视觉模型精度

语音和自然语言处理精度

量化实例

目前torchvision【2】中提供的7个量化模型如图（截止20231227）

实例1：量化resnet18网络

(beta) Quantized Transfer Learning for Computer Vision Tutorial — PyTorch Tutorials 2.2.0+cu121 documentation

?实例2：量化MobileNet v2?网络

??? ??? — ???? ??? ???? (PyTorch tutorials in Korean)

?

Q&A

【Q&A1】模型量化，剪枝的区别是什么？

模型量化和剪枝是两种不同的技术，用于减小神经网络模型的大小、加速推理过程并降低模型的计算复杂度。它们的主要区别在于优化模型的方式和目标。

模型量化（Quantization）：

• 定义：模型量化是通过减少模型中参数的表示精度来实现模型压缩的过程。通常，神经网络模型中的参数是使用浮点数表示的，而量化则将这些参数表示为更少比特的定点数或整数，从而减小了内存占用和计算成本。
• 目标：减小模型的存储空间和加速推理过程。通过使用较少位数的表示来存储权重和激活值，模型的存储需求减少，且在硬件上执行推理时，可以更快地进行计算。

剪枝（Pruning）：

• 定义：剪枝是一种技术，通过减少神经网络中的连接或参数来减小模型的大小。在剪枝过程中，通过将权重较小或对模型贡献较小的连接移除或设为零，从而减少模型的复杂度。
• 目标：减小模型的尺寸和计算负载。剪枝不仅可以减少模型的存储需求，还可以在推理时减少乘法操作，因为移除了部分连接或参数，从而提高推理速度。

虽然两者都致力于减小模型的大小和计算复杂度，但方法和实现方式略有不同。模型量化侧重于减小参数表示的精度，而剪枝则专注于减少模型的连接或参数数量。通常，这两种技术可以结合使用，以更大程度地减小神经网络模型的尺寸和提高推理效率。

【Q&A2】减小模型的大小的方法有什么？

深度压缩（Deep Compression）：

• 这是一种综合性的方法，包括剪枝、权重共享和 Huffman 编码等步骤。它不仅剪枝模型中的连接，还可以通过权重共享和 Huffman 编码来进一步减小模型的大小。这种方法通常能够在保持模型性能的同时大幅减小模型大小。

知识蒸馏（Knowledge Distillation）：

• 这是一种将大型模型中的信息转移到小型模型的技术。通过训练一个较小的模型去模仿大型模型的行为，以捕捉大型模型的复杂性和性能。这样可以在不损失太多性能的情况下使用更小的模型。

低秩近似（Low-Rank Approximation）：

• 通过矩阵分解等方法将模型中的权重矩阵近似为低秩矩阵，从而减少模型参数数量。这种方法可以有效地减小模型的尺寸，但有时会对模型性能产生一定影响。

网络架构优化：

• 重新设计模型架构以减少参数数量和计算量。可以通过精心设计模型结构，如使用轻量级网络、深度可分离卷积等技术，来降低模型的复杂度。

权重量化和编码：

• 类似于模型量化，可以对权重进行更复杂的编码或量化方式，以更有效地表示权重并减少模型大小。

这些方法可以单独使用，也可以组合使用，根据具体的情况和需求来选择合适的技术来减小模型的大小。常常需要在压缩模型尺寸和保持模型性能之间找到平衡。

参考文献

【1】Introduction to Quantization on PyTorch | PyTorch

【2】vision/torchvision/models/quantization at main · pytorch/vision (github.com)?

【3】量化自定义PyTorch模型入门教程 - 知乎 (zhihu.com)

【4】?深度学习知识六：(模型量化压缩)----pytorch自定义Module,并通过其理解DoReFaNet网络定义方法。_pytorch dorefa save_for_backward-CSDN博客

【5】端到端Transformer模型的混合精度后量化_量化 端到端-CSDN博客?

【6】transformers 保存量化模型并加载_from transformers import autotokenizer, automodel-CSDN博客?【7】使用 Transformers 量化 Meta AI LLaMA2 中文版大模型 - 苏洋博客 (soulteary.com)

【8】Model Compression - 'Quantization' | LeijieZhang (leijiezhang001.github.io)?