JetPack SDK
NVIDIA JetPack SDK 为 Jetson 模组提供支持,是构建端到端加速 AI 应用程序的全面解决方案,可显著缩短上市时间。
NVIDIA JetPack 包含 3 个组件:
Jetson Linux:一个包含启动加载程序、Linux 内核、Ubuntu 桌面环境、 NVIDIA 驱动、工具链等的板级支持包 (BSP)。它还包括安全性和 Over-The-Air (OTA) 功能。
Jetson AI 堆栈:CUDA 加速 AI 堆栈,包括用于加速 GPU 计算、多媒体、图形和计算机视觉的完整库。它支持应用程序框架,例如 Metropolis 构建、部署和扩展视觉 AI 应用,Isaac 用于构建高性能机器人应用程序和 Holoscan 构建高性能计算应用程序 (HPC),从边缘到云端提供实时见解和传感器处理功能。
Jetson 平台服务:一系列即用型服务,用于在 Jetson 上加速 AI 应用程序开发。
JetPack 6
JetPack 6 是有史以来最大的升级。它不仅带来了更新的内核和更新的 Ubuntu 根文件系统,还包括 Jetson 上从未出现过的新功能。JetPack 6 带来了运行任何 Linux 内核的灵活性,并提供基于 Jetson 生态系统合作伙伴的更广泛的 Linux 发行版选择。它还具有更新 Jetson AI 堆栈而不更新 Jetson Linux BSP 的灵活性。
JetPack 6.2
JetPack 6.2 是 JetPack 6 的最新生产版本。此版本包括 Jetson Linux 36.4.3,其中包含基于 Linux 内核 5.15 的 Ubuntu 22.04 的根文件系统。JetPack 6.2 中包含的 Jetson AI 堆栈包括 CUDA 12.6、TensorRT 10.3、cuDNN 9.3、VPI 3.2、DLA 3.1 和 DLFW 24.0、JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 生产模组提供新的高功率 Super 模式。借助 Super Modes,Jetson Orin NX 系列可将 AI TOPS 提升高达 70%,同时 Jetson Orin Nano 系列可将 AI TOPS 提升 50%,并将显存带宽提升 50%。性能的提升使 Jetson Orin 模块的生成式 AI 推理性能提升高达 2 倍。如需详细了解 JetPack 6.2 带来的性能提升,请查看我们最新发布的博客。
注意:要在 Jetson Linux 36.3 上使用 JetPack 6.2 的计算堆栈,请参阅 NVIDIA JetPack SDK 文档。
安装 JetPack
适用于 Jetson Orin Nano 开发者套件的 SD 卡镜像方法
Jetson Orin 开发者套件上的出厂固件支持 JetPack 5.x,并需要更新以确保与 JetPack 6.x 的兼容性。
按照以下步骤更新固件:Jetson Orin Nano 开发者套件初始设置指南 然后再安装 JetPack 6.2、
NVIDIA SDK Manager 方法
请按照以下步骤操作:使用 SDK Manager 安装 Jetson 软件。
注意:选择 JetPack 6.1 (rev。1) 在安装期间获得增强性能。安装 JetPack 后,选择 MAXN 模式以获得升级性能。
Debian 软件包方法
JetPack 可以使用在 Jetson 上运行的 Debian 软件包管理工具进行安装或升级。 NVIDIA 还为所有 JetPack 组件提供运行时和开发 Debian 软件包。运行时包不包括示例和文档,而开发包包括这些示例和文档,用于开发。用户可以在 Jetson Linux 上安装完整的 JetPack 或仅运行时 JetPack 组件。
请参阅用于说明的 JetPack 文档列在我们托管的 Debian 软件包列表中。至 在 Jetson Linux 36.4 上安装 Jetpack,您只需要“apt install NVIDIA -jetpack
更多资源
JetPack 6.2 的主要特性
Jetson Linux |
NVIDIA Jetson Linux 36.4.3 提供基于 UEFI 的 Linux 内核 5.15 引导加载程序、基于 Ubuntu 22.04 的根文件系统、 NVIDIA 驱动、必要固件 工具链和更多内容。 JetPack 6.2 包含 Jetson Linux 36.4.3,具有以下亮点:
注意:MAXN SUPER 是一种无上限功率模式,可为 CPU、GPU、DLA、PVA 和 SOC 引擎提供更高的核心数量和时钟频率。如果总模块功率超过此模式中的散热设计功率 (TDP) 预算,则模块会降低频率,从而在满足散热预算的同时提供较低的性能。建议您构建自己的自定义电源模式,以便为您的应用程序和需求找到合适的功耗 (或散热稳定性) 和性能之间的平衡。 |
Jetson 平台服务 |
Jetson 平台服务是一个包含预构建和云原生软件服务和参考工作流程的集合,用于在 Jetson 上加速 AI 应用。这些服务是模块化的,由 API 驱动,并且可以快速配置,以构建生成式 AI 和其他边缘应用。提供 15 多种服务,从 AI 服务到系统服务。服务包括:
为演示这些服务的功能,包括以下参考工作流程:
JetPack 6.2 支持 Jetson 平台服务 2.0。 |
Jetson 上的 Linux 发行版 |
JetPack 包括开箱即用的 Jetson Linux,但 Jetson 生态系统合作伙伴提供基于 Linux 的各种发行版。其中包括: Canonical Ubuntu:Canonical 提供的 Ubuntu 22.04、请参阅 webinar 详细了解 Canonical 在 Jetson 上提供的产品。 红帽:由 Red Hat 提供的 Red Hat Enterprise Linux 9.4 Windriver Linux: 来自 Windriver 的商用嵌入式 Linux 操作系统。 SUSE: 由 SUSE 提供的 SUSE Linux Enterprise Server (SLES)。 RedHawk:来自 Concurrent Real-Time 的实时 Linux 操作系统,用于任务 至关重要的硬件实时应用程序。 基于 Yocto 的发行版:各种基于 Yocto 的发行版和服务,meta-tegra 由 NVIDIA 提供 生态系统合作伙伴,如 Balena, Foundries.io & TimeSys。 |
TensorRT |
TensorRT 是一种高性能深度学习推理运行时, 图像分类、分割和物体检测神经网络。TensorRT 是 在 CUDA ( NVIDIA 的并行编程模型) 上运行,并且允许您优化所有 深度学习框架。它包括深度学习推理优化器和运行时 为深度学习推理应用提供低延迟和高吞吐量。 JetPack 6.2 包括 TensorRT 10.3.0 |
DLA |
NVIDIA DLA 硬件是 针对深度学习运算的固定功能加速器引擎。它旨在 完全硬件加速的卷积神经网络,支持各种层 卷积、反卷积、全连接、激活、池化、批量归一化 以及其他 DLA 软件包括 DLA 编译器和 DLA 运行时堆栈。离线编译器 将神经网络图形转换为可加载的 DLA 二进制文件,并可通过 NVIDIA TensorRT™。运行时堆栈由 DLA 固件、内核模式驱动程序和 用户模式驱动。 JetPack 6.2 包括 DLA 3.14 |
cuDNN |
CUDA 深度神经网络 提供高性能基元 适用于深度学习框架。它为标准例程提供了高度调整的实现 例如前向和反向卷积、池化层、归一化层和激活层。 JetPack 6.2 包括 cuDNN 9.3.0 |
CUDA |
CUDA 工具包为 C 和 C++开发者提供全面的开发环境 构建 GPU 加速应用程序。该工具包包括适用于 NVIDIA GPU 的编译器、 库和工具,用于调试和优化您的应用程序的性能。 JetPack 6.2 包括 CUDA 12.6.10 |
多媒体 API |
NVIDIA Omniverse 平台 Jetson 多媒体 API 提供用于灵活应用开发的低级别 API。 摄像头应用程序 API:libargus 提供适用于摄像头的低级别帧同步 API 应用程序,具有每帧摄像头参数控制、多个 (包括同步) 摄像头支持和 EGL 流输出。需要 ISP 的 RAW 输出 CSI 摄像头可与 libargus 或 GStreamer 插件。无论如何,V4L2 媒体控制器传感器驱动程序 使用 API。 传感器驱动 API:V4L2 API 支持视频解码、编码、格式转换和缩放 功能。用于编码的 V4L2 开启了许多功能,例如比特率控制、质量 预设、低延迟编码、时间权衡、运动矢量贴图等。 |
计算机视觉 |
VPI (视觉编程接口) 是一个软件库, 提供在多个硬件上实施的计算机视觉/图像处理算法 Jetson 上的加速器,例如 PVA (可编程视觉加速器)、GPU、 NVDEC ( NVIDIA 解码器)、NVENC ( NVIDIA 编码器)、VIC (视频图像合成器) 等。 JetPack 6.2 包括 VPI 3.2 以下亮点:
|
图形 |
JetPack 6.2 包括以下图形库:
|
Nsight 开发者工具 |
CUDA 工具包为 C 和 C++开发者提供全面的开发环境 使用 CUDA 库构建高性能 GPU 加速应用程序。工具包 包括 Nsight Visual Studio Code Edition, Nsight Eclipse 插件、调试和分析工具,包括 Nsight Compute, 以及用于交叉编译应用程序的工具链 NVIDIA Nsight 系统是一款低延迟的系统级分析工具,可提供 开发者需要分析和优化软件性能。 NVIDIA Nsight 图形是一款用于调试和分析图形的独立应用程序 应用程序。 NVIDIA Nsight 深度 学习设计器是一个集成开发环境,可帮助开发者 高效设计和开发用于应用内推理的深度神经网络。 NVIDIA Nsight 性能 SDK 是一个适用于 Vulkan 和 OpenGL 的图形分析工具箱, 直接从用户应用程序获取 GPU 性能指标集合。 Nsight System、Nsight Graphics、Nsight Compute、Nsight Perf SDK 均支持 Jetson Orin 模块,可帮助开发自主机器。 JetPack 6.2 包括 NVIDIA Nsight Systems v2024.5 JetPack 6.2 包括 NVIDIA Nsight Graphics 2024.2 JetPack 6.2 包含 NVIDIA Nsight Compute v2023.2,作为 CUDA 工具包 12.2 的一部分 |
受支持的 SDK 和工具 |
NVIDIA DeepStream SDK 是一个完整的分析 用于基于 AI 的多传感器处理和视频和音频理解的工具套件。 JetPack 6.2 支持 DeepStream 7.1 NVIDIA Isaac™ ROS 是一个 一系列硬件加速的软件包,使 ROS 开发者能够更轻松地构建 基于 NVIDIA 硬件 (包括 NVIDIA Jetson) 的高性能解决方案。 JetPack 6.2 将于 2025 年 1 月支持 Isaac ROS 3.2 NVIDIA Holoscan 是一个传感器处理平台,可简化 AI 和高性能计算 (HPC) 应用程序的开发和部署,从而提供实时见解 JetPack 6.2 将支持 Holoscan SDK 2.9 注意:Holoscan SDK 2.9 将于 2025 年 1 月在 JetPack 6.2 上推出。 NVIDIA Triton™ 推理服务器简化了 AI 模型的部署 进行大规模训练。Triton 推理服务器是开源的,支持部署经过训练的 AI Jetson 上的 NVIDIA TensorRT、TensorFlow 和 ONNX Runtime 模型。在 Jetson 和 Triton 上 推理服务器作为共享库提供,可与 C API 直接集成。 PowerEstimator 是一款 Web 应用,可简化自定义电源模式配置文件的创建,并估算 Jetson 模组的功耗。我们已更新了适用于 JetPack 6.2 的新功率模式的 Power Estimator 工具。 |
云原生 |
Jetson 带来 Cloud-Native 扩展至 边缘,并支持容器和容器编排等技术。 NVIDIA JetPack 包括采用 Docker 集成的 NVIDIA 容器运行时,支持 GPU 加速 基于 Jetson 平台的容器化应用程序。 NVIDIA 为 Jetson 提供多个容器镜像,NVIDIA NGC。有些是适用于使用示例进行软件开发的 和文档等,适用于生产软件部署,包含 只有运行时组件。如需了解更多信息和所有容器镜像的列表,请访问 Jetson 上的云原生页面。 |
安全性 |
NVIDIA Jetson 模组包括各种安全功能,包括硬件信任根、 安全启动、硬件加密加速、可信执行环境、磁盘和 内存加密、物理攻击保护等。通过以下方式了解安全特性: 跳转至安全部分,Jetson Linux 开发者指南。 JetPack 6.2 安全亮点包括:
|
JetPack 文档和网络会议
文档 |
|
网络会议 |
|
支持 |
访问 NVIDIA Jetson 论坛回答所有您的问题和问题。 NVIDIA 有专门的 Jetson 专家团队为您提供支持。 |
对于旧版 JetPack,请访问 JetPack 存档。