《动手学深度学习》学习笔记 第5章 深度学习计算

2024-01-02 13:28:36

本系列为《动手学深度学习》学习笔记
书籍链接:动手学深度学习

笔记是从第四章开始,前面三章为基础知道,有需要的可以自己去看看

关于本系列笔记: 书里为了让读者更好的理解,有大篇幅的描述性的文字,内容很多,笔记只保留主要内容,同时也是对之前知识的查漏补缺

5. 深度学习计算

5.1 层和块

??图5.1.1: 多个层被组合成块,形成更大的模型
在这里插入图片描述

??下面的代码生成一个网络:具有256个单元和ReLU激活函数的全连接隐藏层,然后是一个具有10个隐藏单元且不带激活函数的全连接 输出层。

import torch
from torch import nn
from torch.nn import functional as F
net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))
X = torch.rand(2, 20)
net(X)

??简而言 之,nn.Sequential定义了一种特殊的Module,即在PyTorch中表示一个块的类,它维护了一个由Module组成 的有序列表。

??这个前 向传播函数非常简单:它将列表中的每个块连接在一起,将每个块的输出作为下一个块的输入。

5.1.1 自定义块

??从零开始编写一个块:它包含一个多层感知机,其具有256个隐藏单元的隐藏层和一 个10维输出层

class MLP(nn.Module):
	# 用模型参数声明层。这里,我们声明两个全连接的层
	def __init__(self):
		# 调用MLP的父类Module的构造函数来执行必要的初始化。
		# 这样,在类实例化时也可以指定其他函数参数,例如模型参数params(稍后将介绍)
		super().__init__()
		self.hidden = nn.Linear(20, 256) # 隐藏层
		self.out = nn.Linear(256, 10) # 输出层
	# 定义模型的前向传播,即如何根据输入X返回所需的模型输出
	def forward(self, X):
		# 注意,这里我们使用ReLU的函数版本,其在nn.functional模块中定义。
		return self.out(F.relu(self.hidden(X)))
  • 首先, 我们定制的__init__函数通过super().init()调用父类的__init__函数(省去了重复编写模版代码的痛苦。)
  • 然后,我们实例化两个全连接层,分别为self.hidden和self.out。
  • 注意,除非我们实现一个新的运算符, 否则我们不必担心反向传播函数或参数初始化,系统将自动生成这些。

5.1.2 顺序块

??看看Sequential类是如何工作的?
??为了构建我们自己的简化的MySequential,我们只需要定义两个关键函数:

  1. 将块逐个追加到列表中的函数;
  2. 前向传播函数,用于将输入按追加块的顺序传递给块组成的“链条”。
class MySequential(nn.Module):
	def __init__(self, *args):
		super().__init__()
		for idx, module in enumerate(args):
			# 这里,module是Module子类的一个实例。我们把它保存在'Module'类的成员
			# 变量_modules中。_module的类型是OrderedDict
			self._modules[str(idx)] = module
			
	def forward(self, X):
		# OrderedDict保证了按照成员添加的顺序遍历它们
		for block in self._modules.values():
			X = block(X)
		return X
  • __init__函数将每个模块逐个添加到有序字典_modules中。

为什么每个Module都有一 个_modules属性?
为什么我们使用它而不是自己定义一个Python列表?
.
简而言之,_modules的主要优点是:在模块的参数初始化过程中,系统知道在_modules字典中查找需要初始化参数的子块。

5.1.3 在前向传播函数中执行代码

??有时我们可能希望合并 既不是上一层的结果也不是可更新参数的项,我们称之为常数参数(constant parameter)

??例如,我们需要一个计算函数 f ( x , w ) = c ? w ? x f(x, w) = c · w^{?}x f(x,w)=c?w?x的层,其中x是输入, w w w是参数, c c c是某个在优化过程中没有更新的指定常量。因此我们实现了一个FixedHiddenMLP类,如下所示:

class FixedHiddenMLP(nn.Module):
	def __init__(self):
		super().__init__()
		# 不计算梯度的随机权重参数。因此其在训练期间保持不变
		self.rand_weight = torch.rand((20, 20), requires_grad=False)
		self.linear = nn.Linear(20, 20)
		
	def forward(self, X):
		X = self.linear(X)
		# 使用创建的常量参数以及relu和mm函数
		X = F.relu(torch.mm(X, self.rand_weight) + 1)
		# 复用全连接层。这相当于两个全连接层共享参数
		X = self.linear(X)
		# 控制流
		while X.abs().sum() > 1:
			X /= 2
		return X.sum()

??其中权重(self.rand_weight)在实例化时被随机初始化,之后为常量。这个权重不是一个模型参数,因此它不会被反向传播更新。

5.2 参数管理

??在选择了架构并设置了超参数后,我们就进入了训练阶段。

  • 此时,我们的目标是找到使损失函数最小化的模型参数值。经过训练后,我们将需要使用这些参数来做出未来的预测。
  • 此外,有时我们希望提取参数,以便在其他环境中复用它们,将模型保存下来,以便它可以在其他软件中执行,或者为了获得科学的理解而进行检查。

本节,我们将介绍以下内容:

  • 访问参数,用于调试、诊断和可视化;
  • 参数初始化;
  • 在不同模型组件间共享参数。

5.2.1 参数访问

??从已有模型中访问参数。当通过Sequential类定义模型时,可以通过索引来访问模型的任意层

??如下所示,我们可以检查第二个全连接层的参数。

print(net[2].state_dict())

OrderedDict([('weight', tensor([[-0.0427, -0.2939, -0.1894, 0.0220, -0.1709, -0.1522, -0.0334, -0.2263]])), ('bias', tensor([0.0887]))])

输出的结果:

  • 首先,这个全连接层包含两个参数,分别是该层的权重和偏置。
  • 两者都存储为单精度浮点数(float32)。

注意,参数名称允许唯一标识每个参数,即使在包含数百个层的网络中也是如此。

目标参数

??访问底层的数值:从第二个全连接层(即第三个神经网络层)提取偏置,提取后返回的是一个参数类实例,并进一步访问该参数的值。

print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)

??参数是复合的对象,包含值、梯度和额外信息。 除了值之外,我们还可以访问每个参数的梯度。(在上面这个网络中,由于我们还没有调用反向传播,所以参数的梯度处于初始状态。)

一次性访问所有参数

??当我们需要对所有参数执行操作时,逐个访问它们可能会很麻烦。当我们处理更复杂的块(例如,嵌套块)
时,情况可能会变得特别复杂,因为我们需要递归整个树来提取每个子块的参数。下面,我们将通过演示来
比较访问第一个全连接层的参数和访问所有层。

print(*[(name, param.shape) for name, param in net[0].named_parameters()])
# ('weight', torch.Size([8, 4])) ('bias', torch.Size([8]))

print(*[(name, param.shape) for name, param in net.named_parameters()])
#('0.weight', torch.Size([8, 4])) ('0.bias', torch.Size([8]))
#('2.weight', torch.Size([1, 8])) ('2.bias', torch.Size([1]))

这为我们提供了另一种访问网络参数的方式,如下所示。

net.state_dict()['2.bias'].data
# tensor([0.0887])

从嵌套块收集参数

??如果将多个块相互嵌套,参数命名约定是如何工作的?

def block1():
	return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),nn.Linear(8, 4), nn.ReLU())
	
def block2():
	net = nn.Sequential()
	for i in range(4):
		# 在这里嵌套
		net.add_module(f'block {i}', block1())
	return net
	
rgnet = nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)
print(rgnet)
Sequential(
(0): Sequential(
	(block 0): Sequential(
						(0): Linear(in_features=4, out_features=8, bias=True)
						(1): ReLU()
						(2): Linear(in_features=8, out_features=4, bias=True)
						(3): ReLU()
						)
	(block 1): Sequential(
						(0): Linear(in_features=4, out_features=8, bias=True)
						(1): ReLU()
						(2): Linear(in_features=8, out_features=4, bias=True)
						(3): ReLU()
						)
	(block 2): Sequential(
						(0): Linear(in_features=4, out_features=8, bias=True)
						(1): ReLU()
						(2): Linear(in_features=8, out_features=4, bias=True)
						(3): ReLU()
						)
	(block 3): Sequential(
						(0): Linear(in_features=4, out_features=8, bias=True)
						(1): ReLU()
						(2): Linear(in_features=8, out_features=4, bias=True)
						(3): ReLU()
						)
	)
(1): Linear(in_features=4, out_features=1, bias=True)
	)
rgnet[0][1][0].bias.data
# tensor([ 0.1999, -0.4073, -0.1200, -0.2033, -0.1573, 0.3546, -0.2141, -0.2483])

5.2.2 参数初始化

??默认情况下,PyTorch会根据一个范围均匀地初始化权重和偏置矩阵,这个范围是根据输入和输出维度计算
出的。

??PyTorch的nn.init模块提供了多种预置初始化方法:

内置初始化

  • 例1:将所有权重参数初始化为标准差为0.01的高斯随机变量,且将偏置参数设置为0。
def init_normal(m):
	if type(m) == nn.Linear:
		nn.init.normal_(m.weight, mean=0, std=0.01)
		nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]
  • 例2:将所有参数初始化给定的常数,比如初始化为1。
def init_constant(m):
	if type(m) == nn.Linear:
		nn.init.constant_(m.weight, 1)
		nn.init.zeros_(m.bias)
	net.apply(init_constant)
	net[0].weight.data[0], net[0].bias.data[0]
  • 例3:使用Xavier初始化方法初始化第一个神经网络层,然后将第三个神经网络层初始化为常量值42。
def init_xavier(m):
	if type(m) == nn.Linear:
		nn.init.xavier_uniform_(m.weight)
		
def init_42(m):
	if type(m) == nn.Linear:
		nn.init.constant_(m.weight, 42)
		
net[0].apply(init_xavier)
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)

5.2.3 参数绑定

??有时希望在多个层间共享参数:我们可以定义一个稠密层,然后使用它的参数来设置另一个层的参数。

# 我们需要给共享层一个名称,以便可以引用它的参数
shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
					shared, nn.ReLU(),
					shared, nn.ReLU(),
					nn.Linear(8, 1))
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] == net[4].weight.data[0])
net[2].weight.data[0, 0] = 100
# 确保它们实际上是同一个对象,而不只是有相同的值
print(net[2].weight.data[0] == net[4].weight.data[0])

??这个例子表明第三个和第五个神经网络层的参数是绑定的(实际上是同一个对象)。它们不仅值相等,而且由相同的张量表示。因此,如果我们改变其中一个参数,另一个参数也会改变。

当参数绑定时,梯度会发生什么情况?
答案是由于模型参数包含梯度,因此在反向传播期间第二个隐藏层(即第三个神经网络层)和第三个隐藏层(即第五个神经网络层)的梯度会加在一起。

5.3 延后初始化

到目前为止,我们忽略了建立网络时需要做的以下这些事情:

  • 定义了网络架构,但没有指定输入维度。
  • 添加层时没有指定前一层的输出维度。
  • 在初始化参数时,甚至没有足够的信息来确定模型应该包含多少参数。

深度学习框架无法判断网络的输入维度是什么。这里的诀窍是框架的延后初始化(defers initialization),即直到数据第一次通过模型传递时,框架才会动态地推断出每个层的大小。

5.3.1 实例化网络

??首先,实例化一个多层感知机。

??此时,因为输入维数是未知的,所以网络不可能知道输入层权重的维数。因此,框架尚未初始化任何参数。

??接下来让将数据通过网络,最终使框架初始化参数。

??一旦知道输入维数是20,框架可以通过代入值20来识别第一层权重矩阵的形状。识别出第一层的形状后,框架处理第二层,依此类推,直到所有形状都已知为止。

??注意,在这种情况下,只有第一层需要延迟初始化,但是框架仍是按顺序初始化的。等到知道了所有的参数形状,框架就可以初始化参数。

5.4 自定义层

??深度学习成功背后的一个因素是神经网络的灵活性:可以用创造性的方式组合不同的层,从而设计出适用于各种任务的架构。

5.4.1 不带参数的层

??首先,构造一个没有任何参数的自定义层。

??下面的CenteredLayer类要从其输入中减去均值。要构建它,我们只需继承基础层类并实现前向传播功能。

import torch
import torch.nn.functional as F
from torch import nn

class CenteredLayer(nn.Module):
	def __init__(self):
		super().__init__()
		
	def forward(self, X):
		return X - X.mean()

验证:

layer = CenteredLayer()
layer(torch.FloatTensor([1, 2, 3, 4, 5]))
# tensor([-2., -1., 0., 1., 2.])
net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())
Y = net(torch.rand(4, 8))
Y.mean()
# tensor(7.4506e-09, grad_fn=<MeanBackward0>)

5.4.2 带参数的层

??实现自定义版本的全连接层。该层需要两个参数,一个用于表示权重,另一个用于表示偏置项。

??在此实现中,使用修正线性单元作为激活函数。该层需要输入参数:in_units和units,分别表示输入数和输出数。

class MyLinear(nn.Module):
	def __init__(self, in_units, units):
		super().__init__()
		self.weight = nn.Parameter(torch.randn(in_units, units))
		self.bias = nn.Parameter(torch.randn(units,))
		
	def forward(self, X):
		linear = torch.matmul(X, self.weight.data) + self.bias.data
		return F.relu(linear)

??实例化MyLinear类并访问其模型参数。

linear = MyLinear(5, 3)
linear.weight
#Parameter containing:
#tensor([[ 0.1775, -1.4539, 0.3972],
		#[-0.1339, 0.5273, 1.3041],
		#[-0.3327, -0.2337, -0.6334],
		#[ 1.2076, -0.3937, 0.6851],
		#[-0.4716, 0.0894, -0.9195]], requires_grad=True)

5.5 读写文件

5.5.1 加载和保存张量

import torch
from torch import nn
from torch.nn import functional as F

x = torch.arange(4)
torch.save(x, 'x-file') # 保存

x2 = torch.load('x-file') # 读取

以写入或读取从字符串映射到张量的字典。

mydict = {'x': x, 'y': y}
torch.save(mydict, 'mydict')
mydict2 = torch.load('mydict')
mydict2

5.5.2 加载和保存模型参数

class MLP(nn.Module):
	def __init__(self):
		super().__init__()
		self.hidden = nn.Linear(20, 256)
		self.output = nn.Linear(256, 10)
		
	def forward(self, x):
		return self.output(F.relu(self.hidden(x)))
		
net = MLP()
X = torch.randn(size=(2, 20))
Y = net(X)

将模型的参数存储在一个叫做“mlp.params”的文件中。

torch.save(net.state_dict(), 'mlp.params')

为了恢复模型,我们实例化了原始多层感知机模型的一个备份。

这里我们不需要随机初始化模型参数,而是直接读取文件中存储的参数。

clone = MLP()
clone.load_state_dict(torch.load('mlp.params'))
clone.eval()

5.6 GPU

??使用nvidia-smi命令查看显卡信息。

!nvidia-smi

5.6.1 计算设备

??指定用于存储和计算的设备,如CPU和GPU。默认情况下,张量是在内存中创建的,然后使用CPU计算它。
应该注意的是:

  • cpu设备意味着所有物理CPU和内存,这意味着PyTorch的计算将尝试使用所有CPU核心。
  • 然而,gpu设备只代表一个卡和相应的显存。
  • 如果有多个GPU,我们使用torch.device(f’cuda:{i}') 来表示第i块GPU(i从0开始)。
  • 另外,cuda:0和cuda是等价的。
import torch
from torch import nn
torch.device('cpu')
torch.device('cuda')
torch.device('cuda:1')

查询可用gpu的数量。

torch.cuda.device_count()

在不存在所需所有GPU的情况下运行代码。

def try_gpu(i=0): #@save
	"""如果存在,则返回gpu(i),否则返回cpu()"""
	if torch.cuda.device_count() >= i + 1:
		return torch.device(f'cuda:{i}')
	return torch.device('cpu')
	
def try_all_gpus(): #@save
	"""返回所有可用的GPU,如果没有GPU,则返回[cpu(),]"""
	devices = [torch.device(f'cuda:{i}')for i in range(torch.cuda.device_count())]
	return devices if devices else [torch.device('cpu')]
try_gpu()
 try_gpu(10)
  try_all_gpus()

5.6.2 张量与GPU

??查询张量所在的设备。(默认情况下,张量是在CPU上创建的。)

x = torch.tensor([1, 2, 3])
x.device
# device(type='cpu')
  • 需要注意的是,无论何时我们要对多个项进行操作,它们都必须在同一个设备上。

??例如,如果我们对两个张量求和,我们需要确保两个张量都位于同一个设备上,否则框架将不知道在哪里存储结果,甚至不知道在哪里执行计算。

存储在GPU上

??有几种方法可以在GPU上存储张量。例如,我们可以在创建张量时指定存储设备。

??在第一个gpu上创建张量变量X。(在GPU上创建的张量只消耗这个GPU的显存。我们可以使用nvidia-smi命令查看显存使用情况。一般来说,需要确保不创建超过GPU显存限制的数据。)

X = torch.ones(2, 3, device=try_gpu())
X
# tensor([[1., 1., 1.],[1., 1., 1.]], device='cuda:0')

假设至少有两个GPU,下面的代码将在第二个GPU上创建一个随机张量。

Y = torch.rand(2, 3, device=try_gpu(1))
Y
# tensor([[0.4860, 0.1285, 0.0440],[0.9743, 0.4159, 0.9979]], device='cuda:1')

复制

??如果我们要计算X + Y,我们需要决定在哪里执行这个操作。例如,如下图所示,不要简单地X加上Y,这会导致异常,运行时引擎不知道该怎么做:它在同一设备上找不到数据会导致失败
??由于Y位于第二个GPU上,所以我们需要将X移到那里,然后才能执行相加运算。
在这里插入图片描述

Z = X.cuda(1)
print(X)
print(Z)

# tensor([[1., 1., 1.],[1., 1., 1.]], device='cuda:0')
# tensor([[1., 1., 1.],[1., 1., 1.]], device='cuda:1')

文章来源:https://blog.csdn.net/weixin_42046845/article/details/135246005
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。