NVIDIA Optical Flow SDK
Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能,该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量,这些向量对于帧到帧的强度变化具有鲁棒性,并可追踪真实的物体运动。
入门
视频分析
准确检测和追踪连续视频帧中的物体,同时大大降低计算复杂性要求。
实时性能
实时内插或外插视频帧,提高视频播放流畅度或降低 VR 体验延迟
GPU 加速
已针对 Turing、Ampere 和未来代次的 NVIDIA GPU 架构进行优化。高速计算准确流向量,对 CPU 或 GPU 影响甚少。
光流引擎辅助的帧率提升转换库

最新的 Optical Flow SDK 3.1 版本引入了引擎辅助帧率提升转换 (FRUC),它使用光流向量内插新帧,使视频的有效帧率翻倍。最终,视频播放的流畅度和视觉感知质量得以提升。
了解详情用于智能视频分析的物体追踪
Optical Flow SDK 2.0 引入了基于光流的物体追踪器库,以及源代码和即用型 API。在我们的实验中,经证明,基于光流的物体追踪器与一些热门算法相比,可将 GPU 利用率降低多达 80%,同时不会降低追踪的准确性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。
了解详情
视频帧内插和外插

光流还可以非常有效地用于实时内插或外插视频帧。这对于提高视频播放的流畅度、生成慢动作视频或在使用 Oculus 设备进行 VR 体验时大幅减少延迟非常有用(详细信息)。Turing 和 Ampere GPU 中的光流功能通过将密集的流向量计算卸载到 GPU 芯片上的专用硬件引擎以加速这些用例,从而腾出 GPU 和 CPU 资源来处理其他任务。此功能位于硬件中,独立于 CUDA Core。
Optical Flow SDK 新功能

Optical Flow SDK 3.1 新增功能:通过引擎辅助帧率提升转换来改进视频播放性能
借助新版 Optical Flow SDK 中包含的全新引擎辅助帧率提升转换 (FRUC) 库,用户可以有效将视频帧率提高一倍。

开发者博客:Optical Flow SDK 3.0 的新功能
NVIDIA Turing 架构引入了新的硬件功能,用于计算一对图像之间的光流,且性能极高。NVIDIA Optical Flow SDK 公开了使用此光流硬件的 API。

开发者博客:加速 OpenCV
新的 NVIDIA 硬件加速 OpenCV 接口类似于 OpenCV 中的其他光流算法,因此开发者可以轻松移植和加速其现有的基于光流的应用,同时尽可能减少代码更改。