模型/库/框架

2025年 7月 16日

CUTLASS：基于张量和空间微核处理多维数据的原理抽象

在生成式 AI 时代，充分发挥 GPU 的潜力对于训练更好的模型和大规模服务用户至关重要。通常，
4 MIN READ
2025年 7月 16日

CUTLASS 3.x：用于 GEMM 内核设计的正交、可重用和组合抽象

GPU 上的 GEMM 优化是一个模块化问题。高性能实现需要指定超参数，例如图块形状、数学和复制指令以及线程束专用方案。
3 MIN READ
2025年 7月 14日

借助 NVIDIA Riva TTS 增强多语种类似人类的语音和语音克隆

虽然语音 AI 用于构建数字助理和语音智能体，但其影响远远超出这些应用。文本转语音 (TTS) 和自动语音识别 (ASR)…
3 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 11日

使用 NVIDIA Earth-2 预测两周以上的天气

能够预测极端天气事件至关重要，因为此类条件变得更加常见且更具破坏性。次季节性气候预测 (预测未来两周或两周以上的天气)…
2 MIN READ
2025年 7月 9日

使用 NVIDIA NeMo-RL 进行强化学习：通过 GRPO 复制 DeepScaleR 配方

强化学习 (RL) 是交互式 AI 的支柱。它对于教导智能体推理和从人类偏好中学习、实现多轮工具使用等至关重要。
2 MIN READ
2025年 7月 7日

提出一个维基百科规模的问题：如何利用数百万 token 的实时推理使世界更加智能

现代 AI 应用越来越依赖于将庞大的参数数量与数百万个令牌的上下文窗口相结合的模型。无论是经过数月对话的 AI 智能体、
3 MIN READ
2025年 7月 1日

适用于有效 FP8 训练的按张量和按块扩展策略

在本博文中，我们将分解主要的 FP8 缩放策略 (按张量缩放、延迟和电流缩放以及按块缩放 (包括 Blackwell 支持的 MXFP8…
2 MIN READ
2025年 6月 26日

在魔搭社区使用 NVIDIA TensorRT-LLM PyTorch 新架构优化 Qwen3 系列模型推理

摘要： TensorRT-LLM 采用 PyTorch 全新架构进一步优化模型部署流程，提升开发者使用体验。
2 MIN READ
2025年 6月 26日

在 NVIDIA Jetson 和 RTX 上运行 Google DeepMind 的 Gemma 3n

截至今日，NVIDIA 现已支持在 NVIDIA RTX 和 Jetson 上全面推出 Gemma 3n。上个月，
1 MIN READ
2025年 6月 18日

NVIDIA 在制造和运营领域的 AI 应用：借助 NVIDIA CUDA-X 数据科学加速 ML 模型

从晶圆制造和电路探测到封装芯片测试，NVIDIA 利用数据科学和机器学习来优化芯片制造和运营工作流程。这些阶段会产生 TB 级的数据，
3 MIN READ
2025年 6月 18日

抢先体验 NVIDIA GB200 系统如何帮助 LMarena 构建评估 LLM 的模型

在 NVIDIA 和 Nebius 的帮助下，加州大学伯克利分校的 LMArena 可以更轻松地了解哪些大语言模型在特定任务中表现出色。
2 MIN READ
2025年 6月 18日

借助 NVIDIA NIM 推理微服务和 ITMonitron 实现实时 IT 事故检测和情报

在当今快节奏的 IT 环境中，并非所有事件都始于明显的警报。这些问题可能始于细微的分散信号、错过的警报、悄无声息的 SLO 漏洞，
2 MIN READ
2025年 6月 13日

使用 FlashInfer 运行 NVIDIA 的高性能 LLM 推理内核

出色的 LLM 推理需要两个关键要素：速度和开发者速度。速度是指通过使用高度优化的计算内核算法，最大限度地提高底层硬件的效率。
2 MIN READ
2025年 6月 12日

借助 MMseqs2-GPU 和 NVIDIA NIM 加速蛋白质科学序列对齐

蛋白质序列对齐 (比较蛋白质序列的相似性) 是现代生物学和医学的基础。它通过重建进化关系 (技术上称为 homology…
3 MIN READ
2025年 6月 11日

使用 NVIDIA Cosmos Predict-2 构建自定义物理人工智能基础模型

构建更智能的机器人和自动驾驶汽车 (AV) 始于能够理解现实世界动态的物理 AI 模型。这些模型发挥着两个关键作用：
2 MIN READ