什么是FairScale

2023-12-21 11:57:55

什么是FairScale

  • pytorch的一个拓展库，用于高性能和大规模训练
  • 此库扩展了PyTorch的基本功能，同时添加了新的SOTA缩放技术
  • 以可组合模块和易于使用的api的形式提供最新的分布式训练技术
  • github

优点

  • 易用

  • 模块化

  • 高效

标准数据并行训练

在这里插入图片描述图片来源

用前指导

在这里插入图片描述
图片来源

安装

准备

pytorch >=1.8.1

pip

pip install fairscale

参考文献：
官方文档

文章来源:https://blog.csdn.net/Elvira521yan/article/details/135125769
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。