数据中心/云端

2025年 7月 15日

NVIDIA Dynamo 新增对 AWS 服务的支持，可大规模提供经济高效的推理

Amazon Web Services (AWS) 开发者和解决方案架构师现在可以在基于 NVIDIA GPU 的 Amazon EC2…
2 MIN READ
2025年 7月 15日

借助 AWS 上的 NVIDIA Run:ai 加速 AI 模型编排

在开发和部署高级 AI 模型时，访问可扩展的高效 GPU 基础设施至关重要。但是，在云原生、容器化环境中管理此基础设施可能既复杂又昂贵。
2 MIN READ
2025年 7月 14日

NCCL 深度解析：跨数据中心通信与网络拓扑感知

随着 AI 训练规模的扩大，单个数据中心 (DC) 不足以提供所需的计算能力。
2 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 10日

InfiniBand 多层安全保护数据中心和 AI 工作负载

在当今数据驱动的世界中，安全性不仅仅是一项功能，更是基础。随着 AI、HPC 和超大规模云计算的指数级增长，
1 MIN READ
2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 7月 7日

使用 DPU 加速的 Kubernetes 服务代理增强 AI 工厂

随着 AI 借助代理式 AI 向规划、研究和推理发展，工作流变得越来越复杂。为了高效部署代理式 AI 应用，AI 云需要软件定义、
2 MIN READ
2025年 7月 2日

先进的 NVIDIA CUDA 内核优化技术：手写 PTX

随着加速计算不断提升 AI 和科学计算各个领域的应用程序性能，人们对 GPU 优化技术的兴趣也越来越浓厚，以确保应用程序获得尽可能好的性能。
3 MIN READ
2025年 6月 25日

NVIDIA DOCA 3.0 助力 AI 平台开启网络新纪元

NVIDIA DOCA 框架已发展成为新一代 AI 基础设施的重要组成部分。从初始版本到备受期待的 NVIDIA DOCA 3.0 发布，
3 MIN READ
2025年 6月 24日

隆重推出 NVFP4，实现高效准确的低精度推理

为了充分利用 AI，优化至关重要。当开发者考虑优化用于推理的 AI 模型时，通常会想到量化、蒸馏和剪枝等模型压缩技术。毫无疑问，
4 MIN READ
2025年 6月 24日

NVIDIA Run:ai 和 Amazon SageMaker HyperPod 携手简化复杂 AI 训练管理

NVIDIA Run:ai 和 Amazon Web Services 引入了集成，使开发者能够无缝扩展和管理复杂的 AI 训练工作负载。
2 MIN READ
2025年 6月 18日

基准测试大型语言模型推理成本以实现更智能的扩展和部署

这是大语言模型延迟-吞吐量基准测试系列的第三篇博文，旨在指导开发者如何通过估算总体拥有成本 (TCO) 来确定 LLM 推理的成本。
3 MIN READ
2025年 6月 18日

编译器资源管理器：CUDA 开发者必备的内核实验室

您是否曾想过，当您编写 GPU 核函数时，CUDA 编译器究竟会生成什么？是否曾想与同事轻松分享精简的 CUDA 示例，
2 MIN READ
2025年 6月 18日

NVIDIA 集合通信库 2.26 实现性能和监控功能的提升

NVIDIA 集合通信库 (NCCL) 可实现针对 NVIDIA GPU 和网络优化的多 GPU 和多节点通信基元。
3 MIN READ
2025年 6月 17日

通过 NVIDIA Holoscan for Media 上的全新 AI 应用实例，实现实时 AI 媒体效果增强

直播媒体工作流越来越多地使用 AI 微服务来增强制作能力。然而，先进的 AI 模型大多托管在云端，由于网络延迟、带宽和实时可扩展性方面的限制，
1 MIN READ
2025年 6月 12日

借助 RAPIDS 单细胞技术推动十亿细胞分析和生物学突破

细胞生物学和虚拟细胞模型的未来取决于大规模测量和分析数据。在过去 10 年里，单细胞实验一直以惊人的速度增长，从数百个细胞开始，
2 MIN READ