pytorch 多卡训练 accelerate gloo

2023-12-30 13:39:57

目录

accelerate 多卡训练 Windows例子

gloo 多卡训练

accelerate 多卡训练 Windows例子

import torch
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, RandomSampler
from accelerate import Accelerator


# 模拟数据集
class RandomDataset(torch.utils.data.Dataset):
    def __init__(self, size=100):
        self.data = torch.randn(size, 3)

    def __getitem__(self, index):
        re

文章来源:https://blog.csdn.net/jacke121/article/details/135302636
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。