71、实战：模型选择与训练【用Python进行AI数据分析进阶教程】

一、关键点

1、理解问题和数据

• 明确问题类型：判断是分类、回归、聚类还是其他类型的问题，这直接决定了可以选择的模型范围。例如，预测客户是否会购买产品是分类问题，预测房价则是回归问题。
• 数据探索：了解数据的特征、分布、缺失值情况等。这有助于确定是否需要进行数据预处理，以及选择合适的模型。

2、模型选择

• 模型特性：不同的模型有不同的优缺点和适用场景。例如，线性模型（如线性回归、逻辑回归）简单易懂，计算效率高，但可能无法处理复杂的非线性关系；决策树和随机森林可以处理非线性关系，但容易过拟合；深度学习模型（如神经网络）能处理高度复杂的数据，但需要大量的数据和计算资源。
• 性能和复杂度平衡：在选择模型时，需要平衡模型的性能和复杂度。简单的模型可能在小规模数据集上表现良好，而复杂的模型可能在大规模数据集上才能发挥优势。

3、模型训练

• 数据划分：将数据集划分为训练集、验证集和测试集。训练集用于模型学习，验证集用于调整模型的超参数，测试集用于最终评估模型的性能。
• 超参数调整：不同的模型有不同的超参数，如学习率、树的深度、隐藏层的神经元数量等。通过调整超参数可以提高模型的性能。

二、注意点

1、数据质量

• 缺失值处理：数据中的缺失值可能会影响模型的性能，需要进行适当的处理，如删除缺失值、填充均值或中位数等。
• 异常值处理：异常值可能会导致模型过拟合，需要进行识别和处理，如使用箱线图或 Z - score 方法。

2、过拟合和欠拟合

• 过拟合：模型在训练集上表现很好，但在测试集上表现不佳。可以通过正则化、增加数据量、减少模型复杂度等方法来避免过拟合。
• 欠拟合：模型在训练集和测试集上表现都不好。可以通过增加模型复杂度、特征工程等方法来解决欠拟合问题。

3、计算资源和时间

• 深度学习模型通常需要大量的计算资源和时间进行训练。在选择模型时，需要考虑自己的计算资源和时间限制。

三、示例代码及解读

以下是一个包含机器学习（逻辑回归、随机森林）和深度学习（简单的神经网络）模型选择与训练的示例代码：

Python脚本

# 导入numpy库，用于进行数值计算
import numpy as np

# 从sklearn库的datasets模块导入make_classification函数，用于生成分类数据集
from sklearn.datasets import make_classification

# 从sklearn库的model_selection模块导入train_test_split函数，用于划分训练集和测试集
from sklearn.model_selection import train_test_split

# 从sklearn库的linear_model模块导入LogisticRegression类，用于逻辑回归模型
from sklearn.linear_model import LogisticRegression

# 从sklearn库的ensemble模块导入RandomForestClassifier类，用于随机森林分类模型
from sklearn.ensemble import RandomForestClassifier

# 从sklearn库的metrics模块导入accuracy_score函数，用于计算分类准确率
from sklearn.metrics import accuracy_score

# 导入tensorflow库，用于构建和训练深度学习模型
import tensorflow as tf

# 从tensorflow.keras.models模块导入Sequential类，用于构建顺序模型
from tensorflow.keras.models import Sequential

# 从tensorflow.keras.layers模块导入Dense类，用于定义全连接层
from tensorflow.keras.layers import Dense


# 生成示例数据集
# n_samples=1000：生成1000个样本
# n_features=10：每个样本有10个特征
# n_informative=5：其中5个特征具有判别信息
# n_redundant=0：不生成冗余特征
# random_state=42：确保结果可复现
X, y = make_classification(
    n_samples=1000,
    n_features=10,
    n_informative=5,
    n_redundant=0,
    random_state=42
)


# 划分数据集为训练集和测试集
# test_size=0.2：测试集占总数据的20%
# random_state=42：确保每次划分结果一致
X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.2,
    random_state=42
)


# 逻辑回归模型
# 创建逻辑回归模型实例
logreg = LogisticRegression()

# 使用训练数据拟合模型
logreg.fit(X_train, y_train)

# 对测试集进行预测
y_pred_logreg = logreg.predict(X_test)

# 计算预测准确率
accuracy_logreg = accuracy_score(y_test, y_pred_logreg)

# 输出逻辑回归模型的准确率
print(f"Logistic Regression Accuracy: {accuracy_logreg:.4f}")


# 随机森林模型
# 创建随机森林分类器实例
rf = RandomForestClassifier(random_state=42)

# 使用训练数据拟合模型（添加random_state以确保可复现性）
rf.fit(X_train, y_train)

# 对测试集进行预测
y_pred_rf = rf.predict(X_test)

# 计算预测准确率
accuracy_rf = accuracy_score(y_test, y_pred_rf)

# 输出随机森林模型的准确率
print(f"Random Forest Accuracy: {accuracy_rf:.4f}")


# 简单的神经网络模型
# 使用Sequential构建一个前馈神经网络
model = Sequential([
    # 第一个隐藏层：10个神经元，ReLU激活函数
    # 输入形状根据训练数据的特征数自动确定
    Dense(10, activation='relu', input_shape=(X_train.shape[1],)),
    
    # 输出层：1个神经元，Sigmoid激活函数，适用于二分类
    Dense(1, activation='sigmoid')
])


# 编译模型
# 使用Adam优化器
# 二分类任务使用binary_crossentropy作为损失函数
# 监控训练过程中的准确率
model.compile(
    optimizer='adam',
    loss='binary_crossentropy',
    metrics=['accuracy']
)


# 训练模型
# epochs=10：训练10轮
# batch_size=32：每批使用32个样本
# validation_data：使用测试集作为验证数据，监控过拟合
model.fit(
    X_train,
    y_train,
    epochs=10,
    batch_size=32,
    validation_data=(X_test, y_test),
    verbose=1  # 显示训练进度
)


# 在测试集上评估模型性能
# evaluate返回损失和指定的指标（此处为准确率）
_, accuracy_nn = model.evaluate(X_test, y_test, verbose=0)

# 输出神经网络模型的准确率
print(f"Neural Network Accuracy: {accuracy_nn:.4f}")

输出 / 打印结果说明

• Logistic Regression Accuracy: [准确率数值]：这里会输出逻辑回归模型在测试集上的准确率，准确率是一个介于 0 到 1 之间的数值，越接近 1 表示模型性能越好。
• Random Forest Accuracy: [准确率数值]：输出随机森林分类器在测试集上的准确率。
• 训练神经网络模型时，会输出每个轮次（epoch）的训练损失、训练准确率、验证损失和验证准确率，例如：

plaintext

Epoch 1/10

25/25 [==============================] - 0s 3ms/step - loss: 0.6932 - accuracy: 0.5000 - val_loss: 0.6932 - val_accuracy: 0.5000

...

Epoch 10/10

25/25 [==============================] - 0s 2ms/step - loss: 0.2232 - accuracy: 0.9125 - val_loss: 0.2101 - val_accuracy: 0.9200

• Neural Network Accuracy: [准确率数值]：最后输出神经网络模型在测试集上的最终准确率。

需要注意的是，具体的准确率数值会因数据的随机性（虽然设置了random_state，但不同环境可能仍有细微差异）而有所不同。

四、重点语句解读