pytorch模型参数名字
2023-12-14 16:26:29
如下是一个模型输出片段,来自magicAnimate,该模型称把unet网络换成了3D的,也可以看到如下的resent block命名也是ResnetBlock3D,里面的convolution也是InflatedConv3d
(resnets): ModuleList(
(0-1): 2 x ResnetBlock3D(
(norm1): GroupNorm(32, 1280, eps=1e-05, affine=True)
(conv1): InflatedConv3d(1280, 1280, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(time_emb_proj): Linear(in_features=1280, out_features=1280, bias=True)
(norm2): GroupNorm(32, 1280, eps=1e-05, affine=True)
(dropout): Dropout(p=0.0, inplace=False)
(conv2): InflatedConv3d(1280, 1280, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(nonlinearity): SiLU()
)
)
不过其实magicAnimate的unet model参数没有被训练,是直接使用的stable diffusion 1.5版本的参数。所以问题来了,为什么3D的新模型可以使用SD1.5的2D的网络模型
?
其实就是虽然magicAnimate的这些类叫3D,但其实背后都是用的2D的convolution,所以模型参数是可以一一对应上的,因此他们只需要把参数的命名
设置成和SD1.5一样的即可,此时当使用load_state_dict
来load模型参数的时候就可以直接使用上pretrained模型参数
这个pytorch命名方式有两种
1、当使用nn.Sequential或者nn.ModuleList的时候,如果不指定名字,则会默认使用0,1,2…,如下情况
model = nn.Sequential(
nn.Conv2d(1, 20, 5),
nn.ReLU(),
nn.Conv2d(20, 64, 5),
nn.ReLU()
)
如果指定了名字,则用指定的,比如
model = nn.Sequential(OrderedDict([
('conv1', nn.Conv2d(1, 20, 5)),
('relu1', nn.ReLU()),
('conv2', nn.Conv2d(20, 64, 5)),
('relu2', nn.ReLU())
]))
2、直接定义module,比如
self.conv1 = nn.Conv2d(1, 20, 5)
self.relu1 = nn.ReLU()
self.conv2 = nn.Conv2d(20, 64, 5)
self.relu2 = nn.ReLU()
这时候这个模块的名字则会使用python变量的名字,即conv1,relu1,conv2,relu2
文章来源:https://blog.csdn.net/weixin_42815846/article/details/134875353
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!