机器学习笔记 - 了解学习率对神经网络性能的影响

一、简述

        深度学习神经网络使用随机梯度下降优化算法进行训练。学习率是一个超参数，它控制每次更新模型权重时响应估计误差而改变模型的程度。学习率值太小可能会导致训练过程过长并可能陷入困境，而值太大可能会导致过快地学习次优权重或训练过程不稳定。

        配置神经网络时，学习率是重要的超参数。因此，了解学习率对模型性能的影响很有价值。

        训练期间权重更新的量称为步长或“学习率”。

二、不同学习率的评估

        在此示例中，我们从 1E-0 到 1E-7 评估学习率，并通过调用 fit_model()函数为每个学习率创建线图。运行该示例会创建一个图形，其中包含八个不同评估学习率的八个线图。训练数据集的分类准确度标记为蓝色，而测试数据集的分类准确度标记为橙色。

# study of learning rate on accuracy for blobs problem
from sklearn.datasets import make_blobs
from keras.layers import Dense
from keras.models import Sequential
from keras.optimizers import SGD
from keras.utils import to_categorical
from m