【炼丹神器】wandb实践之sweep超参扫描工具

2024-01-09 18:34:43

在这里插入图片描述

参考官方文档:https://docs.wandb.ai/guides/sweeps/define-sweep-configuration

一、四步上手wandb

首先,wandb其实类似tensorboard,mindinsight,都是观察训练时的学习率,训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb,这个官网其实跟详细,可以参考:https://docs.wandb.ai/quickstart

总结一下就是:

  1. 先注册账号,去往以下链接注册:https://wandb.ai/home
  2. 安装wandb: pip install wandb
  3. 设置环境变量:export WANDB_API_KEY=注册的时候会给你
  4. 将wandb嵌入代码中,可以根据quickstart看下如何嵌入代码中记录准确率等训练参数。

在这里插入图片描述

二、四步玩转sweep

接下来就可以上手sweep了,sweep工具具备搜索超参的功能,对于预设的参数,搜索的方法,指定训练次数以及评判的指标,一段时间后训练出如此图,可以快速的分析哪些参数的组合效果最佳。
在这里插入图片描述

使用sweep有两种方式,一种是嵌入代码的方式,一种是用yaml文件的方式,这边用了yaml文件的方式。

  1. 代码中把sweep的参数赋值给代码中使用的变量,如args:
    [图片]
    这里要注意,参数赋值必须在使用这些参数之前,最好在刚进入函数的地方赋值。

  2. 创建config.yaml
    这里要注意分为几大部分,如果有自己的参数放在command里面,上面sweep官方链接其实讲的算清楚了,这里直接举例。
    [图片]

  3. 一条命令行启动sweep,并获得sweep id

wandb sweep --project TResnetM config.yaml

[图片]

  1. 再一条命令行启动训练
wandb agent --count 5 thomascai/TResnetM/XXXX

然后打开https://wandb.ai/登入你的账号即可查看。

Enjoy~

~ O n e ? p e r s o n ? g o ? f a s t e r , ? a ? g r o u p ? o f ? p e o p l e ? c a n ? g o ? f u r t h e r ~ \sim_{One\ person\ go\ faster,\ a\ group\ of\ people\ can\ go\ further}\sim One?person?go?faster,?a?group?of?people?can?go?further?

文章来源:https://blog.csdn.net/ThomasCai001/article/details/135486874
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。