RuntimeError: Default process group has not been initialized, please make sure to call init_process_
在Windows系统上,分布式训练的支持受到一些限制,因为Windows不支持fork方式创建新进程,而这在分布式设置中是常用的方式。如果你的代码不需要分布式训练,你可以考虑在代码中禁用分布式设置,以避免这个错误。检查代码中是否存在与torch.distributed相关的初始化代码,然后在Windows上禁用它。这个错误通常与使用PyTorch的torch.distributed模块有关,它用于
·
这个错误通常与使用PyTorch的torch.distributed模块有关,它用于在分布式环境中进行训练。在你的情况下,可能是由于在分布式设置中未正确初始化进程组导致的。
在Windows系统上,分布式训练的支持受到一些限制,因为Windows不支持fork方式创建新进程,而这在分布式设置中是常用的方式。因此,在Windows上运行分布式PyTorch代码可能会遇到一些问题。
如果你的代码不需要分布式训练,你可以考虑在代码中禁用分布式设置,以避免这个错误。检查代码中是否存在与torch.distributed相关的初始化代码,然后在Windows上禁用它。
比如在代码中
可以看到使用了torch中的distributed.reduce()函数,如果我们想只使用一个机器进行训练的话就找到报错的地方进行注释就可以
在这里计算loss的时候同样的方式进行处理
更多推荐
已为社区贡献1条内容
所有评论(0)