架构师机器学习操作 (MLOps) 指南

MLOps 是机器学习操作的缩写，是一组实践和工具，旨在满足工程师构建模型并将其投入生产的特定需求。一些组织从一些自主开发的工具开始，这些工具在每次实验后对数据集进行版本控制，并在每个训练周期后对检查点模型进行版本控制。另一方面，许多组织选择采用具有实验跟踪、协作功能、模型服务功能甚至用于处理数据和训练模型的管道功能的正式工具。

若要为组织做出最佳选择，应了解业界领先的 MLOps 工具提供的所有功能。如果你走本土路线，你应该明白你正在放弃的能力。对于需要快速行动且可能没有时间评估新工具的小型团队来说，自主开发的方法很好。如果选择实施第三方工具，则需要选择与组织的工程工作流最匹配的工具。这可能很棘手，因为当今的顶级工具在方法和功能上有很大差异。无论您选择哪种方式，您都需要能够处理大量数据并以高性能方式提供训练集的数据基础架构。检查点模型和版本控制大型数据集需要可扩展的容量，如果您使用昂贵的 GPU，您将需要高性能的基础设施来充分利用您的投资。

在这篇文章中，我将介绍一个功能列表，架构师无论选择哪种方法或工具，都应该考虑该列表。此功能列表来自我对当今三家顶级 MLOps 供应商 KubeFlow、MLflow 和 MLRun 的研究和实验。对于选择从自主开发解决方案开始的组织，我将介绍一个可以扩展和执行的数据基础架构。（剧透警报 - 您在这里需要的只是 MinIO。当谈到第三方工具时，我注意到我研究的供应商有一种模式。对于选择采用 MLOps 工具的组织，我将介绍此模式，并将其与现代数据湖参考体系结构联系起来。

在深入探讨功能和基础结构要求之前，让我们更好地了解 MLOps 的重要性。为此，将模型创建与传统应用程序开发进行比较会很有帮助。

模型与应用的区别</