使用torch使用GPU时，报错RuntimeError: device ＞= 0 && device ＜ num_gpus INTERNAL...

最新推荐文章于 2025-08-09 21:54:05 发布

15122306087

最新推荐文章于 2025-08-09 21:54:05 发布

阅读量147

点赞数 2

CC 4.0 BY-SA版权

文章标签： pytorch 深度学习人工智能 python 机器学习

本文链接：https://blog.csdn.net/weixin_40467931/article/details/149953519

使用torch使用GPU时，报错RuntimeError: device >= 0 && device < num_gpus INTERNAL...
2023-09-17
639
阅读1分钟

错误原因： torch在设置

os.environ['CUDA_VISIBLE_DEVICES']
就被import了。这样torch实际上就看到了所有的卡。

解决方案：

import os

这个一定要在import torch之前！否则torch会能看到所有的gpu。

os.environ['CUDA_VISIBLE_DEVICES'] = '3,4'

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

15122306087

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

不管怎么指定pytorch都使用gpu0进行训练解决方法

qq_35037684的博客

06-09

6048

这个问题困惑了我好久，不管怎么指定，程序中用的 os.environ['CUDA_VISIBLE_DEVICES'] = '1,2' 并不管用最后都显示 RuntimeError: CUDA out of memory. Tried to allocate 158.00 MiB (GPU 0; 11.17 GiB total capacity; 556.72 MiB already allocated; 26.06 MiB free; 17.28 MiB cached) 真的是很泪奔了，最后查到，pyto

RuntimeError: device ＞= 0 && device ＜ num_gpus，但明明device=0且num_gpus＞1

qq_33882464的博客

04-23

3710

（torch 2.0.1）有GPU可用，而且CUDA_VISIBLE_DEVICES选择了0卡，然而还是报错RuntimeError: device >= 0 && device < num_gpus，令人抓狂。这个问题可能是torch的初始化中存在bug，具体原因我并未查明，如有大佬了解这个烦请评论区指出。对我而言这样就不会再报错，很神奇，如果您添加后无效请查看其它文章。

参与评论您还未登录，请先登录后发表或查看评论

Pytorch | 找不到显卡设备 | RuntimeError: device ＞= 0 && device ＜ num_gpus INTERNAL ASSERT FAILED at “/opt/c

qq_51762470的博客

07-16

2039

汇总运行pytorch找不到GPU的错误情况下的几种解决方法

CUDA call failed lazily at initialization with error: device ＞= 0 && device ＜ num_gpus INTERNAL ASSE

m0_43609475的博客

04-29

2007

安装环境运行模型时报错：CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at “…/aten/src/ATen/cuda/CUDAContext.cpp”:50, please report a bug to PyTorch.

正确设置PyTorch训练时使用的GPU资源

duzm200542901104的专栏

09-21

5853

通过Linux的export设置CUDA_VISIBLE_DEVICES环境变量，达到正确设置PyTorch训练时使用的GPU资源的目的

解决pytorch指定GPU后还使用第一张卡的问题

qq_53239443的博客

11-13

2670

最近在用gpu跑自己的一个基于Bert的情感分析任务，组内一台单机四卡服务器中0号卡师兄占用做，显存剩余不到1G。我部署过去的程序没有设置在几号gpu上运行，结果就默认到0号卡，报了以下错误。放在 import torch 之前！最后解决了问题，我的项目终于成功运行了。按照网上教程，提出的。

PyTorch 源码解读之 DP & DDP：模型并行和分布式训练解析

qq_39967751的博客

03-14

4499

PyTorch 源码解读系列更新啦～

Huggingface trainer、model.from_pretrained、tokenizer()简单介绍（笔记）

热门推荐

鲨鱼儿的博客

03-31

1万+

总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。它负责设置训练环境、加载模型检查点、配置超参数搜索、寻找可执行的批次大小,并最终执行内部训练循环。函数是 Hugging Face Transformers 库中。

深度学习报错合集

菜鸟博客

10-27

7163

文章目录运行 pretict.py 时报错tf2架构1.AttributeError: 'str' object has no attribute 'decode'2.InternalError (see above for traceback): Blas SGEMM launch failed : m=43264, n=32, k=643.ModuleNotFoundError: No module named 'cv2'4.ModuleNotFoundError: No module named 'P

大模型底层 transformers源码解析之trainer.py

强化学习曾小健

04-17

4268

我会根据你提供的trainer.py源代码,用python的Graph包画出流程图,并着重介绍train()方法。- 将 inputs 通过 self._prepare_inputs 方法处理后传给 self.training_step。- 调用 optimizer.step() 和 lr_scheduler.step() 进行参数更新。计算总共需要训练的步数 max_steps 和 num_train_epochs。- 每 args.logging_steps 个步骤打印训练日志。

项目实训——大模型篇1：MING模型部署与OpenaiAPI服务的实现1之ModelWorker

qq_43723962的博客

06-23

526

MoE架构是一种基于条件计算的模型架构，它将大型模型拆分为多个较小的专家模型，每个专家模型负责处理特定的任务或数据子集。在模型运行时，根据输入数据的特性，选择相应的专家模型进行处理。这种架构可以在保证模型性能的同时，显著提高模型的效率和可扩展性。MING-MOE模型是基于Qwen的Moe模型，这意味着需要Qwen作为对应的模型基座，做一个合并才能正常使用。

pytorch 学习1（官网的文档的学习）

weixin_54721788的博客

02-14

1159

这是我安装的版本，基本上大同小异一、LEARN THE BASICS Most machine learning workflows（工作流程） involve working with data, creating models, optimizing model parameters, and saving the trained models. This tutorial（教程） introduces you to a complete ML workflow implemented i...

pytorch llm 计算flops和参数量

最新发布

Learning from the mistakes

08-09

这就是我带chat_template的测试啦。

PyTorch生成式人工智能——Hugging Face环境配置与应用详解

盼小辉丶的博客

08-06

601

在本节中，我们将介绍如何在 PyTorch 和 TensorFlow 框架中使用 Hugging Face 模型库，我们将讨论如何获取不同的模型以及使用不同管道的步骤，例如，双向自回归 Transformer (BART)、BERT 和 TAPAS 等模型，同时介绍 GPT-2 (Generative Pretrained Transformer 2) 文本生成。需要注意的是，本节主要集中在如何准备环境以及如何使用预训练模型，而不是模型训练，模型训练将在后续学习中详细讨论。

Pytorch-07 如何快速把已经有的视觉模型权重扒拉过来为己所用

CodelancerA的博客

08-06

1264

在这一节里面我们会过一遍对模型权重的常用操作，比如： - 如何下载常用模型的预训练权重 - 如何下载常用模型的无训练权重（只下载网络结构） - 如何加载模型权重 - 如何保存权重 - 加载模型权重后进行推理的注意事项

PyTorch快速入门

Springfield3006的博客

08-06

851

PyTorch是Facebook开发的Python深度学习框架，具有动态计算图、GPU加速和自动微分等核心特性。其核心数据结构为张量（Tensor），支持多种创建方式（如从列表、NumPy数组生成）和特殊张量（全零、全一等）。张量运算包括基本算术、矩阵运算和统计函数。形状操作涵盖维度调整、交换和拼接等功能，如reshape、unsqueeze和cat方法。PyTorch兼具灵活性和高效性，是深度学习研究和开发的理想工具。

PyTorch生成式人工智能（26）——使用PyTorch构建GPT模型

盼小辉丶的博客

08-06

680

GPT-2 是由 OpenAI 开发的大语言模型 (LLM)。它标志着自然语言处理 (NLP) 领域的一个重要里程碑，并为更复杂的模型的发展奠定了基础。在本节中，我们将学习如何从零开始构建 GPT-2XL，这是 GPT-2 的最大参数量版本。之后，从 Hugging Face 提取预训练的权重，并将其加载到自定义的 GPT-2 模型中。使用自定义 GPT-2 模型输入提示 (prompt) 来生成文本。此外，我们可以通过使用温度 (temperature) 参数和 top-K 采样来控制生成文本的创意性。

PyTorch 核心三件套：Tensor、Module、Autograd

啾啾头号大粉丝打工买粮博客

08-07

313

本文介绍了PyTorch的核心组件Tensor和Module。Tensor作为多维数组，是深度学习的基础数据结构，用于表示输入数据、标签、模型参数及中间计算结果。Module是构建神经网络的基类，通过定义forward()方法实现数据流动逻辑。文章详细讲解了Tensor的五大应用场景（数据表示、标签、参数存储、中间计算、梯度计算）和常用API，并演示了Tensor的创建、运算和自动求导功能。同时介绍了使用nn.Sequential快速构建模型和自定义Module子类的方法，帮助读者从工程角度理解PyTorc

深度学习（1）：pytorch

2401_83189603的博客

08-07

787

本文介绍了PyTorch深度学习框架的基本概念和核心功能。主要内容包括：1）PyTorch的特点和优势；2）张量的创建方式（torch.tensor和torch.Tensor的区别）；3）随机数生成方法；4）设备切换（CPU/GPU）；5）张量与NumPy数组的转换；6）常见张量操作（数学运算、矩阵运算、形状变换、维度操作等）。文章详细讲解了各种操作的语法和使用场景，强调了PyTorch的灵活性、高效性和易用性，特别适合深度学习模型的开发和训练。

torch.cuda.DeferredCudaCallError: CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at "../aten/src/ATen/cuda/CUDAContext.cpp":50, please report a bug to PyTorch.

05-10

这个错误可能是由于 PyTorch 与 CUDA 的版本不兼容所导致的。请确保您正在使用与您的 GPU 兼容的 CUDA 版本，并且您已经正确地安装了 PyTorch。您可以尝试更新您的 CUDA 和 PyTorch 版本，并确保它们兼容。或者，您可以尝试在 CPU 上运行您的代码，以便排除 GPU 相关的问题。如果问题仍然存在，请考虑向 PyTorch 社区寻求帮助或报告错误。