云服务

2025年 8月 1日

通过训练后量化优化 LLM 的性能和准确性

量化是开发者的核心工具，旨在以最小的开销来提高推理性能。通过以可控的方式降低模型精度，无需重新训练，该技术可显著降低延迟、
4 MIN READ
2025年 7月 15日

借助亚马逊云科技上的 NVIDIA Run:ai 加速 AI 模型编排

在开发和部署高级 AI 模型时，访问可扩展的高效 GPU 基础设施至关重要。但是，在云原生、容器化环境中管理此基础设施可能既复杂又昂贵。
1 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 7月 7日

使用 DPU 加速的 Kubernetes 服务代理增强 AI 工厂

随着 AI 借助代理式 AI 向规划、研究和推理发展，工作流变得越来越复杂。为了高效部署代理式 AI 应用，AI 云需要软件定义、
2 MIN READ
2025年 7月 7日

提出一个维基百科规模的问题：如何利用数百万 token 的实时推理使世界更加智能

现代 AI 应用越来越依赖于将庞大的参数数量与数百万个令牌的上下文窗口相结合的模型。无论是经过数月对话的 AI 智能体、
3 MIN READ
2025年 6月 25日

NVIDIA DOCA 3.0 助力 AI 平台开启网络新纪元

NVIDIA DOCA 框架已发展成为新一代 AI 基础设施的重要组成部分。从初始版本到备受期待的 NVIDIA DOCA 3.0 发布，
3 MIN READ
2025年 6月 24日

隆重推出 NVFP4，实现高效准确的低精度推理

为了充分利用 AI，优化至关重要。当开发者考虑优化用于推理的 AI 模型时，通常会想到量化、蒸馏和剪枝等模型压缩技术。毫无疑问，
4 MIN READ
2025年 6月 24日

NVIDIA Run:ai 和 Amazon SageMaker HyperPod 携手简化复杂 AI 训练管理

NVIDIA Run:ai 和 Amazon Web Services 引入了集成，使开发者能够无缝扩展和管理复杂的 AI 训练工作负载。
2 MIN READ
2025年 6月 18日

抢先体验 NVIDIA GB200 系统如何帮助 LMarena 构建评估 LLM 的模型

在 NVIDIA 和 Nebius 的帮助下，加州大学伯克利分校的 LMArena 可以更轻松地了解哪些大语言模型在特定任务中表现出色。
2 MIN READ
2025年 6月 11日

隆重推出 NVIDIA DGX 云 Lepton：面向开发者的统一 AI 平台

AI 原生应用的时代已经到来。开发者正在构建先进的代理式 AI 和物理 AI 系统，但跨地区和 GPU 提供商进行扩展仍然是一项挑战。
2 MIN READ
2025年 6月 9日

借助 EoRA 快速恢复 LLM 压缩错误的免微调方法

模型压缩技术已经过广泛探索，可减少为大语言模型 (LLM) 或其他大型神经网络提供服务所需的计算资源。 但是，与未压缩的模型相比，
5 MIN READ
2025年 5月 22日

Blackwell 借助 Meta 的 Llama 4 Maverick 突破 1000 TPS/ 用户门槛

NVIDIA 的大语言模型 (LLM) 推理速度创下了世界纪录。在包含 400 亿参数的 Llama 4 Maverick 模型 (…
3 MIN READ
2025年 5月 18日

宣布推出适用于基准测试 AI 云基础设施的 NVIDIA 示例云

长期以来，在云端训练 大语言模型 (LLMs) 和部署 AI 工作负载的开发者和企业一直面临着一项根本性挑战：
1 MIN READ
2025年 5月 15日

使用 NVIDIA CUDA-X 和 Coiled 简化云端环境设置并加速数据科学运算

想象一下，分析纽约市数百万次的拼车旅程 — — 跟踪各自治市的模式、比较服务定价或确定有利可图的取车地点。
4 MIN READ
2025年 5月 14日

借助 NVIDIA Nemo 框架，在远程数据中心网络中加速 LLM 训练

多数据中心训练对 AI 工厂至关重要，因为预训练扩展会推动更大模型的创建，导致对计算性能的需求超过单个设施的能力。
2 MIN READ