利用 NVIDIA Holoscan 和多模态成像融合实现实时手术指导

在本文中，我们将向您介绍如何使用最先进的 AI 和成像技术，并重点介绍 ImFusion 集成 NVIDIA Holoscan 以实现实时传感器处理、AI 和 I/O。我们将探索 NVIDIA Holoscan 如何使流程性能提高一倍，并解释如何通过结合两种成像模式来提高手术准确性、减少并发症并改善结果。

整合多模态手术数据所面临的挑战 

在微创或机器人图像辅助手术期间，准确的导航和对患者解剖结构的详细了解对于手术的成功至关重要。

在术前规划期间，外科医生通常依靠多模态成像技术（包括 3D 诊断成像模式，如计算机断层扫描（CT）扫描），来识别异常、指定目标区域并精确定位如血管等关键结构。

然而，在实时手术过程中，将这些术前 3D 图像数据集与术中视频无缝结合仍然是一项重大挑战，因为外科医生在手术过程中往往无法充分利用这些宝贵的术前数据。

作为手术室程序指导的下一代医疗设备需要使用术前和术中的多模态数据的应用。这些应用必须同时执行多个计算密集型管道，并执行以下功能：

• 实时跟踪解剖结构： 在手术过程中准确监测目标组织和器官的表面。
• 融合术前数据和术中数据：将 3D 术前图像与实时手术视频源无缝融合。
• 提供低延迟可视化： 在手术期间以低于 100 毫秒的端到端延迟提供融合的多模态信息，从而实现充分的手眼协调和实时决策。

这需要人工智能、加速计算和高级可视化功能的独特组合。

NVIDIA Holoscan 是一个特定于领域的计算平台，可提供加速的全栈基础设施，满足在临床边缘对流数据进行可扩展、软件定义和实时处理的需求。它包含一个参考应用库，帮助开发者快速构建和优化用于生产部署的 AI 应用。

NVIDIA 合作伙伴为 Holoscan AI 传感器处理社区提供此库，以分享应用程序，使您能够重复使用和贡献组件和示例应用程序，促进创新，并加速先进医疗设备的开发。

融合手术前数据和实时数据的实时 3D 手术导航

为了解决实时数据限制问题，总部位于慕尼黑的 ImFusion 公司，该公司是 NVIDIA Connect 计划 成员，使用 NVIDIA Holoscan 创建了一个可以将术前数据与术中实时成像集成的系统。

该新型系统以 3D 网格的形式跟踪目标解剖结构的表面。3D 网格是一种数字模型，可准确描述结构的形状和轮廓，并将其流畅地融合到外科医生的视野中。网格从术前 CT 扫描中提取，然后近乎实时地叠加到腹腔镜摄像头的实时视频源上。

这使外科医生能够直观地呈现术中和术前患者的混合信息，并做出更明智的实时决策。

使用 NVIDIA Holoscan 和 NVIDIA IGX 实现实时手术数据融合

ImFusion 的解决方案基于其专有的 ImFusion SDK 而构建，该 SDK 将图像处理、配准、分析和可视化算法捆绑在一起。将 NVIDIA Holoscan 集成到 ImFusion SDK 中，进一步提升了性能、效率和灵活性。

ImFusion 计算机视觉负责人 Alexander Ladikos 解释说：“将 Holoscan 集成到我们的 ImFusion SDK 中有助于我们实现了近乎实时的性能，这对于手术应用程序至关重要。它加快了我们的开发流程，节省了我们的时间，并允许我们在未来的项目中重复使用现有和自定义运算符。”

这种集成使 ImFusion 能够构建和运行低延迟、人工智能增强的传感器流应用程序，为下一代软件即医疗设备（SaMD）奠定了基础，使外科医生能够同时查看实时和融合的术前数据。

ImFusion 系统的核心是三个关键神经网络，每个神经网络都使用 Holoscan 加速功能和开源参考应用库。

• 立体深度估算： 该网络使用基于合成数据训练的基于 CNN 的先进模型，从内窥镜立体视频帧生成深度信息。Holoscan 的实时处理能力使得可以从视频流中即时估算深度，为手术指导提供关键的空间信息。
• 光流估计： 该网络计算帧之间的 2D 像素位移，可确保在各种手术场景中实现稳健的性能。Holoscan 支持快速的 2D 流估计，以便随后投射到 3D 空间，从而增强系统追踪手术区域内运动的能力。
• 分割： 由位于比利时的全球领先机器人手术培训机构 ORSI Academy 开发的 该深度学习分割模型 可以识别手术仪器和目标组织，这对于准确的追踪和叠加至关重要。Holoscan 支持快速分析分割组织区域的 3D 流估计，因此系统可以实时精确识别和追踪特定的解剖结构和仪器。

基于这三个神经网络，ImFusion 的系统实现了令人惊叹的实时性能。

术前 CT 的表面网格与底层解剖结构手动注册，然后在整个手术过程中自动追踪。使用配备 NVIDIA RTX 6000 Ada GPU 的 NVIDIA IGX 开发者套件，系统可实现约 13.5 Hz 的帧率中值，端到端延迟低于 75 毫秒。

虽然这种延迟会继续得到进一步优化，但代表着性能的显著提升。与之前的硬件配置和 NVIDIA TensorRT AI 模型推理优化之前相比，Holoscan Flow 基准测试显示端到端延迟降低了 50％。

增强手术导航和加速开发

这种高水平的性能对于实时手术应用至关重要，因为它使外科医生能够接收到即时的视觉反馈，并提供前所未有的手术场景视图。

作为欧洲最大的机器人手术培训中心，ORSI Academy 通过与 NVIDIA 和 ImFusion 合作来指导开发并加强其临床相关性，对这一进步做出了贡献。

Orsi Innotech (ORSI 学院的外科 AI 部门) 的工程师兼外科住院医师 Pieter De Backer 博士表示：“将实时视频源与叠加 3D 网格投影无缝融合，可以提高我们外科医生在微创手术或机器人辅助手术中浏览复杂解剖结构的能力。例如，在具有挑战性的肾外科案例中，实时可视化肿瘤表面网格可以增强肿瘤的描绘效果，并最大限度地减少对健康组织的损害。“

集成用于低延迟任务和 AI 推理工作负载的 Holoscan-SDK 可加速 AI 增强型 SaMD 的开发。它与 ImFusion-SDK 等特定领域的框架兼容，可创建强大的开发环境，从而缩短开发时间并降低成本。

生态系统协作和开源贡献

ImFusion 与 NVIDIA Holoscan 的合作正在提升微创手术和机器人辅助手术的可能性，将 AI、加速计算和领域特异性相结合，以提高精度、性能和安全性。ImFusion 对 Holoscan 参考应用的贡献可以由其医疗技术客户进行集成和构建，其多模态数据融合应用即将推出。

我们邀请您探索 Holoscan 参考应用库 并为其做出贡献，以扩展生态系统、加速 AI 增强型医疗设备的开发，并推进用于手术指导的实时传感器融合。