transformers Trainer自定义optimizer和scheduler

2024-01-03 18:02:07

1.需求

我自定义了一个evaluate方法，想在每一轮训练过后都执行一次。如果只是在TrainingArguments里设置warmup_steps=100，那么每轮都会重置学习率，也就是每一轮开始的时候都会按照warmup刚开始的学习率进行训练，这就很头疼。

2.解决方案

在Trainer里设置optimizers参数，它需要输入一个optimizer和scheduler的tuple，在官方文档里是这样写的：

?所以我们自己设定一个optimizer和scheduler传入即可正常运行

optimizer=transformers.AdamW(model.parameters(),lr=learning_rate)
linear_scheduler = torch.optim.lr_scheduler.LinearLR(optimizer, total_iters=100)
trainer = transformers.Trainer(
    model=model,
    args=train_args,
    optimizers=(optimizer,linear_scheduler),
    train_dataset=train_dataset,
    eval_dataset=test_dataset,
    data_collator=data_collator,
)

文章来源:https://blog.csdn.net/weixin_44902962/article/details/135367949
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。