【AI】Pytorch 系列：学习率设置

2024-01-10 06:01:48

a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。
b. 自适应调整：自适应调整学习率 ReduceLROnPlateau。
c. 自定义调整：自定义调整学习率 LambdaLR。

#得到当前学习率
lr = next(iter(optimizer.param_groups))['lr'] 
#multiple learning rates for different layers.
all_lr = []

文章来源:https://blog.csdn.net/liudongdong19/article/details/135492474
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。