Jetson 软件
所有 NVIDIA ® Jetson™ 模组和开发者套件均由 NVIDIA Jetson 软件堆栈提供支持。 NVIDIA AI 软件堆栈不仅可以加速 AI 应用程序,还可以通过普及 AI 应用程序开发来加快上市速度。软件堆栈可提供从云端到边缘的端到端开发工作流程。
Jetson 软件堆栈从 NVIDIA JetPack™ SDK 开始,提供 Jetson Linux、开发者工具、CUDA-X 加速库和其他 NVIDIA 技术。
JetPack 可为您的 AI 应用提供端到端加速,包括用于加速 AI 推理的 NVIDIA TensorRT 和 cuDNN、用于加速通用计算的 CUDA、用于加速计算机视觉和图像处理的 VPI、用于加速多媒体的 Jetson Linux API、用于加速摄像头处理的 libArgus 和 V4l2、
NVIDIA 容器运行时也包含在 JetPack 中,可在边缘实现云原生技术和工作流程。通过容器化您的 AI 应用程序并使用云原生技术大规模管理这些应用程序,改善您开发和部署软件的体验。
Jetson Linux 基于 Linux 内核、引导加载程序、 NVIDIA 驱动、Flash 实用程序、示例文件系统和 Jetson 平台工具链提供应用基础。它还包括安全功能、无线升级功能等。
JetPack 还包含一系列系统服务,这些服务是构建边缘 AI 解决方案的基本功能。这些服务将简化集成到开发者工作流程的过程,并免去开发者从头开始构建的艰巨任务。
生成式 AI 带来了一种新的 AI 类型,使模型能够以比以往方法更开放的方式理解世界。这些模型可以理解自然语言输入,并为您提供更丰富的场景理解。
NVIDIA TAO 可简化深度学习工作流程的耗时部分,从数据准备到训练再到优化,缩短价值实现时间。从 NVIDIA 深度学习培训中心 (DLI) 获取生产就绪型预训练 AI 模型,NVIDIA NGC™ 目录。这些模型已针对计算机视觉、对话式 AI 等领域进行高精度训练。
数据采集和标注是一个昂贵且繁琐的过程。模拟可以帮助您高效满足这种对数据的需求。 NVIDIAOmniverse Replicator使用模拟生成合成数据,速度比在现实世界收集真实数据快一个数量级,而且成本更低。借助 Omniverse Replicator,您可以快速创建多样化、大规模且准确的数据集,用于训练 AI 模型。
NVIDIA Triton™ 推理服务器简化了大规模 AI 模型的部署。Triton 推理服务器是开源的,提供一个单一的标准化推理平台,可在不同部署 (如数据中心、云、嵌入式设备和虚拟化环境) 中支持多框架模型推理。它通过先进的批处理和调度算法支持不同类型的推理查询,并支持实时模型更新。
NVIDIA Riva 是一款完全加速的 SDK,可使用端到端深度学习管线构建多模态对话式 AI 应用。Riva SDK 包括预训练的对话式 AI 模型、 NVIDIA TAO 工具套件,以及适用于语音、视觉和自然语言处理 (NLP) 任务的优化端到端技能。
NVIDIA DeepStream SDK 为基于 AI 的多传感器处理和 Jetson 上的视频和图像理解提供完整的串流分析工具包。DeepStream 是 NVIDIA Metropolis 这是一个用于构建端到端服务和解决方案的平台,可以将像素和传感器数据转换为可行的见解。
NVIDIA Isaac ROS 提供硬件加速包,使 ROS 开发者能够更轻松地在 NVIDIA 硬件上构建高性能解决方案。由 Omniverse 提供支持的 NVIDIA Isaac Sim 是一款可扩展的机器人仿真应用程序。它包括 Replicator,用于生成各种合成数据集,用于训练感知模型。Isaac Sim 还是一款助力打造逼真、物理级准确的虚拟环境的工具,用于开发、测试和管理基于 AI 的机器人。