2023年度端侧transformer类分类力作SwiftFormer模型解读

2023-12-13 05:05:49

写在前面：本篇直接结合代码来理解网络的笔记

paper: Swiftformer-paper
code: https://github.com/Amshaker/SwiftFormer

在这里插入图片描述

文章目录


在这里插入图片描述

网络结构精析

零、整体

可以看到结构中，整体就是：
stem -> 5X(convEncoder+Swiftformer) -> head
对应代码在swiftformer.py在大概427行
在这里插入图片描述
head中self.dist的判断是有否蒸馏网络的分支。这就是整个的网络结果，下面讲解各个部分。

一、patch embed

图片预处理输入到 ----> patch embed结构
代码中 swiftformer.py 定义在大概317行
在这里插入图片描述
stem函数的两个参数是：输入通道和输出通道，embed_dims[0]是模型根据尺寸(如XS/X/L1/L3)设定的超参的第0个值。这里输入是通道数是3，图片是3层的，然后定义如下：
在这里插入图片描述

二、stage

未完待续

文章来源:https://blog.csdn.net/ThomasCai001/article/details/134814518
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。