YOLOv8原理深度解读,超级详细

整体架构

• Backbone： Feature Extractor提取特征的网络，其作用就是提取图片中的信息，供后面的网络使用

• Neck ： 放在backbone和head之间的，是为了更好的利用backbone提取的特征,起着“特征融合”的作用。

• Head：利用前面提取的特征，做出识别

常见的一些Backbone, Neck, Head网络

我们在后文讲述YOLOv8模型过程中会使用大量的术语和缩写。同样地，当我们在阅读网上这些YOLOv8的帖子的时候，我们会发现这些帖子（包括本文）都是默认你已经十分了解YOLOv1到YOLOv7的这些模型知识。或者说你起码要非常熟悉YOLOv5。

这是因为YOLOv8是博采众长的集大成之作。它参考了YOLOv1到YOLOv7系列的模型，博采众长，集各家优点于一身。

Backbone

借鉴了其他算法的这些设计思想

• 借鉴了VGG的思想，使用了较多的3×3卷积，在每一次池化操作后，将通道数翻倍；

• 借鉴了network in network的思想，使用全局平均池化（global average pooling）做预测，并把1×1的卷积核置于3×3的卷积核之间，用来压缩特征；（我没找到这一步体现在哪里）

• 使用了批归一化层稳定模型训练，加速收敛，并且起到正则化作用。

以上三点为Darknet19借鉴其他模型的点。

Darknet-53：53指的是“52层卷积”+output layer

Darknet53当然是在继承了Darknet19的这些优点的基础上再新增了下面这些优点的。因此列在了这里

• 借鉴了ResNet的思想，在网络中大量使用了残差连接，因此网络结构可以设计的很深，并且缓解了训练中梯度消失的问题，使得模型更容易收敛。

• 使用步长为2的卷积层代替池化层实现降采样。（这一点在经典的Darknet-53上是很明显的，output的长和宽从256降到128，再降低到64，一路降低到8，应该是通过步长为2的卷积层实现的；在YOLOv8的卷积层中也有体现，比如图中我标出的这些位置）

• 特征融合

模型架构图如下

Darknet-53的特点可以这样概括：（Conv卷积模块+Residual Block残差块）串行叠加4次

Conv卷积层+Residual Block残差网络就被称为一个stage

上面红色指出的那个，原始的Darknet-53里面有一层 卷积，在YOLOv8里面，把一层卷积移除了

为什么移除呢？

• 原始Darknet-53模型中间加的这个卷积层做了什么？滤波器（卷积核）的个数从 上一个卷积层的512个，先增加到1024个卷积核，然后下一层卷积的卷积核的个数又降低到512个

• 移除掉这一层以后，少了1024个卷积核，就可以少做1024次卷积运算，同时也少了1024个3×3的卷积核的参数，也就是少了9×1024个参数需要拟合。这样可以大大减少了模型的参数，（相当于做了轻量化吧）

• 移除掉这个卷积层，可能是因为作者发现移除掉这个卷积层以后，模型的score有所提升，所以才移除掉的。为什么移除掉以后，分数有所提高呢？可能是因为多了这些参数就容易，参数过多导致模型在训练集删过拟合，但是在测试集上表现很差，最终模型的分数比较低。你移除掉这个卷积层以后，参数减少了，过拟合现象不那么严重了，泛化能力增强了。当然这个是，拿着你做实验的结论，反过来再找补，再去强行解释这种现象的合理性。

通过MMdetection官方绘制册这个图我们可以看到，进来的这张图片经过一个“Feature Pyramid Network(简称FPN)”，然后最后的P3、P4、P5传递给下一层的Neck和Head去做识别任务。 PAN（Path Aggregation Network）

“FPN是自顶向下，将高层的强语义特征传递下来。PAN就是在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去，

FPN是自顶（小尺寸，卷积次数多得到的结果，语义信息丰富）向下（大尺寸，卷积次数少得到的结果），将高层的强语义特征传递下来，对整个金字塔进行增强，不过只增强了语义信息，对定位信息没有传递。PAN就是针对这一点，在FPN的后面添加一个自底（卷积次数少，大尺寸）向上（卷积次数多，小尺寸，语义信息丰富）的金字塔，对FPN补充，将低层的强定位特征传递上去，又被称之为“双塔战术”。

FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合,这样的操作确实很皮。
自底向上增强

而 PAN（Path Aggregation Network）是对 FPN 的一种改进，它的设计理念是在 FPN 后面添加一个自底向上的金字塔。PAN 引入了路径聚合的方式，通过将浅层特征图（低分辨率但语义信息较弱）和深层特征图（高分辨率但语义信息丰富）进行聚合，并沿着特定的路径传递特征信息，将低层的强定位特征传递上去。这样的操作能够进一步增强多尺度特征的表达能力，使得 PAN 在目标检测任务中表现更加优秀。

FPN Explained | Papers With Code

https://jonathan-hui.medium.com/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c

正常的YOLOv8对象检测模型输出层是P3、P4、P5三个输出层，为了提升对小目标的检测能力，新版本的YOLOv8 已经包含了P2层（P2层做的卷积次数少，特征图的尺寸（分辨率）较大，更加利于小目标识别），有四个输出层。Backbone部分的结果没有改变，但是Neck跟Header部分模型结构做了调整。这就是为什么v8模型yaml文件里面https://github.com/ultralytics/ultralytics/tree/main/ultralytics/cfg/models/v8有p2这个模型

新增加的这个P6，是为了引入更多的参数量，多卷积了一层，是给xlarge那个参数量准备的，属于专门适用于高分辨图片（图片尺寸很大，有大量可挖掘的信息）的版本。

model=yolov8n.ymal 使用正常版本
model=yolov8n-p2.ymal 小目标检测版本
model=yolov8n-p6.ymal 高分辨率版本

整个YOLOv8的backbone，画出图来是下面这样

我们可以看到这个backbone由三种模块组成，CBS、C2f、SPPF

卷积模块使用CBS

三部分组成（1）一个二维卷积+（2）二维BatchNorm+（3）SiLU激活函数

SiLU的激活是通过sigmoid函数乘以其输入来计算的，即xσ(x)。

SiLU的优势：

• 无上界（避免过拟合）（Diss:哪个激活函数是有上界的？）

• 有下界（产生更强的正则化效果）（Diss，同上，很多的激活函数都是有下界的，这句话有没有必要）

• 平滑（处处可导 更容易训练）（agree：确实比relu平滑）

• x<0具有非单调性，函数值先降后增，-1以前是减函数，-1以后是增函数（对分布有重要意义 这点也是Swish和ReLU的最大区别）

你去看棕黄色的那条线，是d(SiLU)，也就是SiLU激活函数的导函数，你可以看到，当x趋近于正无穷的时候，它的导函数趋近于一个比1大一点点的恒定的值

从下界那个点的自变量值（函数值最低的那个点，对应的横坐标，也就是接近-1的那个点），往正半轴走，整个函数的单调递增的

Residual block使用C2f

一个CBS卷积层

一个split，就是把 height × width × c_out这个feature map的channel这一维度（c_out）切成两半,一半的feature map是h × w × 0.5c_cout,另一半是h × w × 0.5c_cout。这个把channel一劈两半的行为称之为split

bottleneck之前的feature map和bottleneck之后的feature map进行concat融合，这叫残差连接

n个Bottleneck串行，每个Bottleneck都和最后一个Bottleneck concatenate起来，类似于做了特征融合

优势：让YOLOv8可以在保证轻量化的同时获得更加丰富的梯度流信息

SPPF

进来一个CBS卷积层，然后串行的三个Maxpooling，未做Maxpooling的feature map和每多做一次Maxpooling后得到的feauture map进行concat 拼接，实现特征融合

用CSP的“网络设计方法“对Darknet进行轻量化

把原始的feature map和原始feauture map经过卷积操作后得到的结果进行concat，就是CSP的思想

你单独去看backbone，你发现好像这些模块之间似乎没有使用CSP思想。一路串行下来，没有任何的跨层融合。

其实CSP思想的用在了组成backbone的这几个模块上，C2f模块和SPPF模块。C2f模块里面的DarknetBottleneck（add=True）也使用了CSP网络结构设计思想。

Neck

Neck上CSP思想的运用。

下图有四个 红心"c" 使用了CSP的思想。统统都是没做过卷积的原始feature map和将“原始特征图”进行过很多个卷积操作的feauture map进行融合，融合的位置就是在 四个 红心"c" 那里。

PAN-FPN

PAN-FPN，是指的在在YOLOv8的neck部分模仿PANet里面的backbone，也就是FPN网络（feature pyramid network）进行组织。PAN-FPN这个网络的特点进行简单概括，就是先下采样，然后再上采样，上采样和下采样的这两个分支之间还有两个跨层融合连接。（也可以反过来，先上采样，再下采样）

用C2f模块作为residual block

没啥好说的，就是图中这四个绿蓝色的模块

Head

先分叉开两个CBS卷积模块，然后过一个Conv2d,最后分别算出classifcation loss和Bbox loss

Decoupled-Head解耦头

Head 部分相比 YOLOv5 改动较大，从原先的耦合头换成了目前主流的解耦头结构（Decoupled-Head），将分类和检测头分离。同时由于使用了DFL（Distributional Focal Loss） 的思想，因此回归头的通道数也变成了4*reg_max的形式，reg_max默认16。

它这个解耦头Decoupled Head,具体是怎么把分类和识别这两个任务分离开的，你要去看代码，就是下面这段。（我现在还没搞懂是怎么做到拆分开的，后面需要用到这一块的时候，再来详细看，详细了解）

一个head做目标识别，用Bbox Loss来衡量。损失函数包括两部分CIoU和DFL

一个head做分类，用用BCE 二分类交叉熵损失函数 衡量,实际用的是VFL（Varifocal Loss）

损失函数的设计

分类损失函数

这里注意，虽然在“\ultralytics\yolo\utils\loss.py” line 11 像下面这样定义了VarifocalLoss,，但是在最后训练的时候，实际采用的分类损失是BCE loss

class VarifocalLoss(nn.Module):
    # Varifocal loss by Zhang et al. https://arxiv.org/abs/2008.13367
    def __init__(self):
        super().__init__()
 
    def forward(self, pred_score, gt_score, label, alpha=0.75, gamma=2.0):
        weight = alpha * pred_score.sigmoid().pow(gamma) * (1 - label) + gt_score * label
        with torch.cuda.amp.autocast(enabled=False):
            loss = (F.binary_cross_entropy_with_logits(pred_score.float(), gt_score.float(), reduction="none") *
                    weight).sum()
        return loss

证据我提供在下面。在\ultralytics\yolo\v8\detect\train.py line 187有下面这段代码。是train.py文件中这个类下面的代码“class Loss:”

首先我们可以看到对于cls. loss, YOLOv8的作者，没有使用varifocal loss,(尽管前面在loss.py作者定义了varifocal loss),而是使用了BCE loss

然后bbox loss 是 CIoU和DFL

然后这三个loss加权平均得到最终的loss

# cls loss
# loss[1] = self.varifocal_loss(pred_scores, target_scores, target_labels) / target_scores_sum  # VFL way
loss[1] = self.bce(pred_scores, target_scores.to(dtype)).sum() / target_scores_sum  # BCE
 
# bbox loss
if fg_mask.sum():
    loss[0], loss[2] = self.bbox_loss(pred_distri, pred_bboxes, anchor_points, target_bboxes, target_scores,
                                              target_scores_sum, fg_mask)
 
loss[0] *= self.hyp.box  # box gain
loss[1] *= self.hyp.cls  # cls gain
loss[2] *= self.hyp.dfl  # dfl gain
 
return loss.sum() * batch_size, loss.detach()  # loss(box, cls, dfl)

分类损失VFL Loss

样本不均衡，正样本极少，负样本极多，需要降低负样本对 loss 的整体贡献了，于是用了focal loss。VFL当然具备focal loss拥有的所有特性。

VFL独有的：

• （1）学习 IACS 得分( localization-aware 或 IoU-aware 的 classification score）
• （2）如果正样本的 gt_IoU 很高时，则对 loss 的贡献更大一些，可以让网络聚焦于那些高质量的样本上，也就是说训练高质量的正例对AP的提升比低质量的更大一些。

目标识别损失1-DFL(Distribution Focal Loss)

这个东西的公式入下

https://arxiv.org/pdf/2006.04388.pdf

将框的位置建模成一个 general distribution，让网络快速的聚焦于和目标位置距离近的位置的分布

目标识别损失2-CIOU Loss

CIoU讲述的最清楚的一篇文章:

?????目标检测中的损失函数IoU、GIoU、DIoU、CIoU、SIoU_siou和ciou__-CHEN-_的博客-CSDN博客

考虑到长宽比

三角形凑成一堆，三角形匹配问题

样本匹配

YOLOv8则是

• （1）抛弃了Anchor-Base方法，转而使用Anchor-Free方法，
• （2）找到了一个替代边长比例的匹配方法——TaskAligned

Anchor-Based是什么？——Anchor-Based是指的利用anchor匹配正负样本，从而缩小搜索空间，更准确、简单地进行梯度回传，训练网络。

Anchor-Based方法的劣势是什么？——但是因为下列这些劣势，我们抛弃掉了anchor 这一多余的步骤：anchor也会对网络的性能带来影响，（1）如巡训练匹配时较高的开销、（2）有许多超参数需要人为尝试调节等

Anchor-free的优势是什么？——Anchor-free模型则摒弃或是绕开了锚的概念，用更加精简的方式来确定正负样本，同时达到甚至超越了两阶段anchor-based的模型精度，并拥有更快的速度。

为与NMS（non maximum suppression非最大抑制）搭配，训练样例的Anchor分配需要满足以下两个规则：——设计TaskAligned这个规则初衷

• 正常对齐的Anchor应当可以预测高分类得分，同时具有精确定位；

• 不对齐的Anchor应当具有低分类得分，并在NMS阶段被抑制。 基于上述两个目标，TaskAligned设计了一个新的Anchor alignment metric 来在Anchor level 衡量Task-Alignment的水平。并且，Alignment metric 被集成在了 sample 分配和 loss function里来动态的优化每个 Anchor 的预测。（完全没看懂这句话）

Anchor alignment metric：

分类得分和 IoU表示了这两个任务的预测效果，所以，TaskAligned使用分类得分和IoU的高阶组合来衡量Task-Alignment的程度。使用下列的方式来对每个实例计算Anchor-level 的对齐程度：

s 和 u 分别为分类得分和 IoU 值，α 和 β 为权重超参。 从上边的公式可以看出来，t 可以同时控制分类得分和IoU 的优化来实现 Task-Alignment，可以引导网络动态的关注于高质量的Anchor。TaskAlignedAssigner 的匹配策略简单总结为： 根据分类与回归的分数加权的分数选择正样本。

Training sample Assignment：

为提升两个任务的对齐性，TOOD（Task-aligned One-stage Object Detection）聚焦于Task-Alignment Anchor，采用一种简单的分配规则选择训练样本：对每个实例，选择m个具有最大t值的Anchor作为正样本，选择其余的Anchor作为负样本。然后，通过损失函数(针对分类与定位的对齐而设计的损失函数)进行训练。