35、机器学习中的超参数调优、管道与集成学习

机器学习中的超参数调优、管道与集成学习

1. 超参数调优与管道

在机器学习中，我们常常需要将多个组件组合成一个完整的学习系统，同时对超参数进行调优以获得更好的性能。下面我们将介绍如何使用管道（Pipeline）和自动化的超参数调优方法。

1.1 构建管道

我们可以将多个预构建的 sklearn 组件插入到管道中，以下是一个示例代码：

import sklearn.preprocessing as skpre
from sklearn.neighbors import neighbors
from sklearn.pipeline import pipeline
from sklearn.model_selection import skms
from sklearn.datasets import load_iris

iris = load_iris()
scaler = skpre.StandardScaler()
quad_inters = skpre.PolynomialFeatures(degree=2, interaction_only=True, include_bias=False)
# 假设 Median_Big_Small 是自定义类
median_big_small = Median_Big_Small()
knn = neighbors.KNeighborsClassifier()
pipe = pipeline.Pipeline(steps=[('scaler', scaler),
                                ('inter', qu