pytorch模型参数名字

2023-12-14 16:26:29

如下是一个模型输出片段,来自magicAnimate,该模型称把unet网络换成了3D的,也可以看到如下的resent block命名也是ResnetBlock3D,里面的convolution也是InflatedConv3d

	(resnets): ModuleList(
      (0-1): 2 x ResnetBlock3D(
        (norm1): GroupNorm(32, 1280, eps=1e-05, affine=True)
        (conv1): InflatedConv3d(1280, 1280, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
        (time_emb_proj): Linear(in_features=1280, out_features=1280, bias=True)
        (norm2): GroupNorm(32, 1280, eps=1e-05, affine=True)
        (dropout): Dropout(p=0.0, inplace=False)
        (conv2): InflatedConv3d(1280, 1280, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
        (nonlinearity): SiLU()
      )
    )

不过其实magicAnimate的unet model参数没有被训练,是直接使用的stable diffusion 1.5版本的参数。所以问题来了,为什么3D的新模型可以使用SD1.5的2D的网络模型

其实就是虽然magicAnimate的这些类叫3D,但其实背后都是用的2D的convolution,所以模型参数是可以一一对应上的,因此他们只需要把参数的命名设置成和SD1.5一样的即可,此时当使用load_state_dict来load模型参数的时候就可以直接使用上pretrained模型参数

这个pytorch命名方式有两种
1、当使用nn.Sequential或者nn.ModuleList的时候,如果不指定名字,则会默认使用0,1,2…,如下情况

model = nn.Sequential(
    nn.Conv2d(1, 20, 5),
    nn.ReLU(),
    nn.Conv2d(20, 64, 5),
    nn.ReLU()
)

如果指定了名字,则用指定的,比如

model = nn.Sequential(OrderedDict([
    ('conv1', nn.Conv2d(1, 20, 5)),
    ('relu1', nn.ReLU()),
    ('conv2', nn.Conv2d(20, 64, 5)),
    ('relu2', nn.ReLU())
]))

2、直接定义module,比如

self.conv1 = nn.Conv2d(1, 20, 5)
self.relu1 = nn.ReLU()
self.conv2 = nn.Conv2d(20, 64, 5)
self.relu2 = nn.ReLU()

这时候这个模块的名字则会使用python变量的名字,即conv1,relu1,conv2,relu2

文章来源:https://blog.csdn.net/weixin_42815846/article/details/134875353
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。