MLRun项目内置模型服务类详解与应用指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00481/article/details/148991923

MLRun项目内置模型服务类详解与应用指南

概述

在机器学习工程化实践中，模型服务化是将训练好的模型部署为可调用API的关键环节。MLRun作为一款强大的机器学习运维平台，提供了一系列内置的模型服务类，极大简化了这一过程。本文将全面介绍这些内置服务类的使用方法，并通过实例演示如何快速部署一个可用的模型服务。

内置模型服务类概览

MLRun为常见机器学习框架提供了开箱即用的服务类实现，开发者无需从头编写服务逻辑即可完成模型部署。以下是支持的主要框架及其对应服务类：

| 框架名称 | 服务类名称 | 依赖库 | |----------------|-----------------------------------------------|----------------| | scikit-learn | SKLearnModelServer | scikit-learn | | TensorFlow.Keras | TFKerasModelServer | tensorflow | | ONNX | ONNXModelServer | onnxruntime | | XGBoost | XGBoostModelServer | xgboost | | LightGBM | LGBMModelServer | lightgbm | | PyTorch | PyTorchModelServer | torch | | Hugging Face | HuggingFaceModelServer | transformers |

对于需要GPU加速的场景，建议使用mlrun-gpu镜像，该镜像已包含必要的GPU驱动和支持库。

核心优势

使用MLRun内置模型服务类具有以下显著优势：

标准化接口：统一了不同框架的预测接口，简化调用流程
自动预处理：内置了常见的数据预处理逻辑
性能优化：针对各框架特点进行了性能调优
无缝集成：与MLRun其他功能组件完美配合

实战示例：部署Scikit-learn模型

下面我们以Scikit-learn模型为例，演示完整的服务化流程。

1. 准备阶段

首先需要获取模型文件并初始化项目环境：

import os
import urllib.request
import mlrun

# 获取示例模型文件
model_path = os.path.abspath("sklearn.pkl")
urllib.request.urlretrieve(
    mlrun.get_sample_path("models/serving/sklearn.pkl"), 
    model_path
)

# 初始化项目
project = mlrun.get_or_create_project(
    "serving-demo", 
    context="./", 
    user_project=True
)

2. 创建服务函数

# 配置服务函数
serving_fn = project.set_function(
    name="iris-classifier",  # 服务名称
    kind="serving",          # 服务类型
    image="mlrun/mlrun"      # 基础镜像
)

# 添加模型配置
model_key = "iris-model"
serving_fn.add_model(
    key=model_key,                 # 模型标识符
    model_path=model_path,         # 模型文件路径
    class_name="SKLearnModelServer" # 使用Scikit-learn服务类
)

3. 本地测试

在正式部署前，建议先进行本地测试：

# 创建模拟服务
mock_server = serving_fn.to_mock_server()

# 准备测试数据
test_data = {
    "inputs": [
        [5.1, 3.5, 1.4, 0.2],  # 样本1特征
        [7.7, 3.8, 6.7, 2.2]    # 样本2特征
    ]
}

# 执行预测测试
response = mock_server.test(
    f"/v2/models/{model_key}/infer", 
    body=test_data
)
print(response)

4. 正式部署

测试通过后，即可进行正式部署：

# 部署服务
serving_fn.apply(mlrun.auto_mount()).deploy()

# 调用已部署的服务
result = serving_fn.invoke(
    path=f"/v2/models/{model_key}/infer", 
    body=test_data
)
print(result)