ai训练总结

2024-01-08 19:29:19

batchsize算法：4*1*8卡
? ? loss：收敛越来越小
? ? 精度如何看
? ? ? ? 没有精度值，看loss值，越来越小，收敛到一定规模（pretrain 0.00x，finetune收敛到1.7~1.8
? ? pretrain和finetune的区别
? ? ? ? ? ? 参数规模：pretrain全参数量一起训练、lora是使用一部分参数来训练

文章来源:https://blog.csdn.net/qq_29707567/article/details/135464306
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。