所有 NVIDIA ® Jetson™ 模组和开发者套件均由 NVIDIA Jetson 软件堆栈提供支持。 NVIDIA AI 软件堆栈不仅可以加速 AI 应用程序,还可以通过普及 AI 应用程序开发来加快上市速度。软件堆栈可提供从云端到边缘的端到端开发工作流程。

Jetson 软件堆栈从 NVIDIA JetPack™ SDK 开始,提供 Jetson Linux、开发者工具、CUDA-X 加速库和其他 NVIDIA 技术。

JetPack 可为您的 AI 应用提供端到端加速,包括用于加速 AI 推理的 NVIDIA TensorRT 和 cuDNN、用于加速通用计算的 CUDA、用于加速计算机视觉和图像处理的 VPI、用于加速多媒体的 Jetson Linux API、用于加速摄像头处理的 libArgus 和 V4l2、

NVIDIA 容器运行时也包含在 JetPack 中,可在边缘实现云原生技术和工作流程。通过容器化您的 AI 应用程序并使用云原生技术大规模管理这些应用程序,改善您开发和部署软件的体验。

Jetson Linux 基于 Linux 内核、引导加载程序、 NVIDIA 驱动、Flash 实用程序、示例文件系统和 Jetson 平台工具链提供应用基础。它还包括安全功能、无线升级功能等。

JetPack 还包含一系列系统服务,这些服务是构建边缘 AI 解决方案的基本功能。这些服务将简化集成到开发者工作流程的过程,并免去开发者从头开始构建的艰巨任务。

JetPack SDK Jetson Linux 基于 Jetson 的云原生 Jetson 平台服务

生成式 AI 带来了一种新的 AI 类型,使模型能够以比以往方法更开放的方式理解世界。这些模型可以理解自然语言输入,并为您提供更丰富的场景理解。

开始使用

NVIDIA TAO 可简化深度学习工作流程的耗时部分,从数据准备到训练再到优化,缩短价值实现时间。从 NVIDIA 深度学习培训中心 (DLI) 获取生产就绪型预训练 AI 模型,NVIDIA NGC™ 目录。这些模型已针对计算机视觉、对话式 AI 等领域进行高精度训练。

数据采集和标注是一个昂贵且繁琐的过程。模拟可以帮助您高效满足这种对数据的需求。 NVIDIAOmniverse Replicator使用模拟生成合成数据,速度比在现实世界收集真实数据快一个数量级,而且成本更低。借助 Omniverse Replicator,您可以快速创建多样化、大规模且准确的数据集,用于训练 AI 模型。

TAO预训练模型    Omniverse Replicator

NVIDIA Triton™ 推理服务器简化了大规模 AI 模型的部署。Triton 推理服务器是开源的,提供一个单一的标准化推理平台,可在不同部署 (如数据中心、云、嵌入式设备和虚拟化环境) 中支持多框架模型推理。它通过先进的批处理和调度算法支持不同类型的推理查询,并支持实时模型更新。

Triton 推理服务器

NVIDIA Riva 是一款完全加速的 SDK,可使用端到端深度学习管线构建多模态对话式 AI 应用。Riva SDK 包括预训练的对话式 AI 模型、 NVIDIA TAO 工具套件,以及适用于语音、视觉和自然语言处理 (NLP) 任务的优化端到端技能。

Riva

NVIDIA DeepStream SDK 为基于 AI 的多传感器处理和 Jetson 上的视频和图像理解提供完整的串流分析工具包。DeepStream 是 NVIDIA Metropolis 这是一个用于构建端到端服务和解决方案的平台,可以将像素和传感器数据转换为可行的见解。

DeepStream

NVIDIA Isaac ROS 提供硬件加速包,使 ROS 开发者能够更轻松地在 NVIDIA 硬件上构建高性能解决方案。由 Omniverse 提供支持的 NVIDIA Isaac Sim 是一款可扩展的机器人仿真应用程序。它包括 Replicator,用于生成各种合成数据集,用于训练感知模型。Isaac Sim 还是一款助力打造逼真、物理级准确的虚拟环境的工具,用于开发、测试和管理基于 AI 的机器人。

Isaac ROS GemIsaac SIM


开发者工具

在以下链接中了解适用于 Jetson 平台的开发者工具:开发 → 工具