【机器学习】模型参数优化工具:Optuna使用分步指南(附XGB/LGBM调优代码)

2024-01-09 17:37:16

在这里插入图片描述

常用的调参方式和工具包

常用的调参方式包括网格搜索(Grid Search)、**随机搜索(Random Search)贝叶斯优化(Bayesian Optimization)**等。

工具包方面,Scikit-learn提供了GridSearchCV和RandomizedSearchCV等用于网格搜索和随机搜索的工具。另外,有一些专门用于超参数优化的工具包,如OptunaHyperopt等。

这些方法各自有优缺点。网格搜索和随机搜索易于理解和实现,但在超参数空间较大时计算代价较高。贝叶斯优化考虑了不同参数之间的关系,可以在较少实验次数内找到较优解,但实现较为复杂。

Optuna是什么?

Optuna是一个基于贝叶斯优化的超参数优化框架。它的目标是通过智能的搜索策略,尽可能少的实验次数找到最佳超参数组合。Optuna支持各种机器学习框架,包括Scikit-learn、PyTorch和TensorFlow等。

Optuna的优势和劣势

个人使用体验:比起网格搜索和随机搜索,Optuna最明显的优势就是快。虽然最后的提升效果未必有前两种好,但是在整体效率上来看,Optuna能够大大减少调参时间。

优势:

  1. 智能搜索策略: Optuna使用TPE(Tree-structured Parzen Estimator)算法进行贝叶斯优化,能够更智能地选择下一组实验参数,从而加速超参数搜索。
  2. 轻量级: Optuna的设计简单而灵活,易于集成到现有的机器学习项目中。
  3. 可视化支持: 提供结果可视化工具,帮助用户直观地了解实验过程和结果。
  4. 并行优化: Optuna支持并行优化,能够充分利用计算资源,提高搜索效率。

劣势:

  1. 适用范围: 对于超参数空间较小或者问题较简单的情况,Optuna的优势可能不如其他方法显著。

如何使用Optuna进行调参?

使用Optuna进行调参的基本步骤如下:

  1. 定义超参数搜索空间: 使用Optuna的API定义超参数的搜索范围,例如学习率、层数等。
  2. 定义目标函数: 编写一个目标函数,用于评估给定超参数组合的模型性能。
  3. 运行Optuna优化: 使用Optuna的optimize函数运行优化过程,选择适当的搜索算法和优化目标。
  4. 获取最佳超参数: 通过Optuna提供的API获取找到的最佳超参数组合。

调参代码示例

主要分为几个步骤:

  1. 定义目标函数: 1)定义参数搜索范围 2)定义、训练和评估模型
  2. 运行Optuna优化
  3. 获取最佳超参数

1. SVM调优例子

以下是一个使用Optuna进行超参数优化的简单示例,假设我们使用Scikit-learn中的SVM进行分类:

import optuna
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

# 载入数据
data = datasets.load_iris()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

# 定义目标函数
def objective(trial):
    # 定义超参数搜索范围
    C = trial.suggest_loguniform('C', 1e-5, 1e5)
    gamma = trial.suggest_loguniform('gamma', 1e-5, 1e5)

    # 构建SVM模型
    model = SVC(C=C, gamma=gamma)
    
    # 训练和评估模型
    model.fit(X_train, y_train)
    accuracy = model.score(X_test, y_test)
    
    return accuracy

# 运行Optuna优化
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)

# 获取最佳超参数
best_params = study.best_params
print("最佳超参数:", best_params)

2.LGBM调优例子

def objective(trial):
    params = {
        'objective': 'multiclass',
        'metric': 'multi_logloss',  # Use 'multi_logloss' for evaluation
        'boosting_type': 'gbdt',
        'num_class': 3,  # Replace with the actual number of classes
        'num_leaves': trial.suggest_int('num_leaves', 2, 256),
        'learning_rate': trial.suggest_loguniform('learning_rate', 0.001, 0.1),
        'feature_fraction': trial.suggest_uniform('feature_fraction', 0.1, 1.0),
        'bagging_fraction': trial.suggest_uniform('bagging_fraction', 0.1, 1.0),
        'bagging_freq': trial.suggest_int('bagging_freq', 1, 10),
        'min_child_samples': trial.suggest_int('min_child_samples', 5, 100),
    }

    model = lgb.LGBMClassifier(**params)
    model.fit(X_train, y_train)
    y_pred = model.predict_proba(X_val)    
    loss = log_loss(y_val, y_pred)
    return loss

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=50,show_progress_bar=True)

# Get the best parameters
best_params = study.best_params
print(f"Best Params: {best_params}")

3.XGB调优例子

def objective(trial):
    params = {
        'objective': 'multi:softprob',  # 'multi:softprob' for multiclass classification
        'num_class': 3,  # Replace with the actual number of classes
        'booster': 'gbtree',
        'eval_metric': 'mlogloss',  # 'mlogloss' for evaluation
        'max_depth': trial.suggest_int('max_depth', 2, 10),
        'learning_rate': trial.suggest_loguniform('learning_rate', 0.001, 0.1),
        'subsample': trial.suggest_uniform('subsample', 0.1, 1.0),
        'colsample_bytree': trial.suggest_uniform('colsample_bytree', 0.1, 1.0),
        'min_child_weight': trial.suggest_int('min_child_weight', 1, 10),
    }

    model = XGBClassifier(**params)
    model.fit(X_train, y_train)
    y_pred = model.predict_proba(X_val)
    loss = log_loss(y_val, y_pred)
    return loss

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=50, show_progress_bar=True)

# Get the best parameters
best_params = study.best_params
print(f"Best Params: {best_params}")

通过这个示例,你可以看到Optuna的简洁和易用性。通过定义搜索空间和目标函数,Optuna会自动选择最优的超参数组合。

总结

Optuna作为一个高效的超参数优化工具,在调参过程中具有明显的优势。通过智能的搜索策略和轻量级的设计,它可以显著减少调参的时间和计算资源成本。当面对大规模超参数搜索问题时,Optuna是一个值得考虑的利器,能够帮助机器学习和数据科学领域的从业者更高效地优化模型性能。

参考链接

官网:https://optuna.org/
说明文档:https://optuna.readthedocs.io/en/stable/
中文文档:https://optuna.readthedocs.io/zh-cn/latest/

文章来源:https://blog.csdn.net/WHYbeHERE/article/details/135483560
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。