深度学习——模型过拟合和欠拟合的原因及解决方法

原创已于 2025-02-18 09:40:24 修改 · 4.4k 阅读

38 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

于 2024-12-20 10:18:08 首次发布

深度学习专栏收录该内容

4 篇文章

订阅专栏

一、定义

1. 过拟合（Overfitting）

过拟合是指模型在训练数据上表现非常好，但在测试数据或新的数据上表现很差的现象。模型过度地学习了训练数据中的细节和噪声，以至于它无法很好地泛化到未见过的数据。例如，在一个图像分类任务中，过拟合的模型可能对训练集中的每一张图像的特定细节（如某张猫图片背景中的一个小污点）都学习得过于精细，以至于在测试集中，只要图像背景稍有不同，就无法正确分类。

2. 欠拟合（Underfitting）

欠拟合则是指模型没有很好地学习到训练数据中的特征和模式，在训练数据和测试数据上的表现都不好。这通常是因为模型的复杂度不够，无法捕捉数据中的内在关系。比如，在一个简单的线性回归任务中，如果真实的数据关系是二次函数关系，但我们只用一条直线（简单线性模型）来拟合数据，就会出现欠拟合的情况，因为直线无法很好地描述数据的弯曲趋势。

二、产生原因

1. 过拟合产生的原因

模型复杂度高：模型过于复杂是导致过拟合的一个关键因素。例如，在深度神经网络中，如果网络层数过多、每层神经元数量过大或者模型参数过多，就会有很强的拟合能力。以一个极端情况为例，一个具有足够多参数的神经网络可以直接将训练集中的每个输入和输出都 “记忆” 下来，而不是学习到通用的特征模式。
训练数据量小和质量差：当训练数据量相对模型的复杂度来说过少时，模型容易过拟合。因为它没有足够多的数据来学习到一般性的规律，只能对有限的数据进行过度拟合。而且，如果训练数据存在噪声或者标注错误等质量问题，模型也可能会学习这些错误的信息，从而导致过拟合。例如，只有 10 张猫和狗的图片用于训练一个分类模型，模型可能会过度关注这 10 张图片的个体特征，而不是猫和狗的一般特征。
训练时间过长：在训练过程中，如果训练轮数过多，模型会不断地降低训练损失，试图拟合训练数据中的每一个细节，包括噪声。例如，在梯度下降算法中，随着训练轮数的增加，模型参数会不断地调整以适应训练数据，当超过一定限度后，就会出现过拟合。特别是在使用一些没有适当停止策略的训练算法时，模型会越来越拟合训练数据中的微小变化。

2. 欠拟合产生的原因

模型复杂度低：模型结构过于简单，没有足够的能力来学习训练数据中的复杂关系。例如，对于一个具有复杂周期性和趋势性的时间序列数据，如果使用一个简单的平均模型进行预测，就很难捕捉到数据中的这些复杂特征。
特征选择不当：如果选择的特征不能很好地代表数据中的关键信息，或者没有对特征进行适当的预处理和变换，模型就难以学习到有效的模式。例如，在预测房屋价格时，如果只考虑房屋的颜色这一特征，而忽略了房屋面积、房间数量、地理位置等重要因素，模型就很可能出现欠拟合。

三、解决方法

1. 过拟合的解决方法

数据增强（Data Augmentation）：通过对原始训练数据进行各种变换来增加数据量。在图像领域，常见的操作包括旋转、翻转、裁剪、缩放、添加噪声等。例如，对于一个手写数字识别任务，可以将数字图像进行小角度旋转、水平或垂直翻转等操作，生成新的训练样本。这样可以让模型学习到数据在不同变换下的不变性，从而减少对特定细节的过度关注。
正则化（Regularization）：
- L1 和 L2 正则化：在损失函数中添加正则化项。L1 正则化（ $λ∑i∣wi∣\lambda \sum_{i} |w_i|$ ）倾向于使模型的一些参数变为 0，从而起到特征选择的作用，减少不重要特征的影响。L2 正则化（ $λ∑iwi2\lambda \sum_{i} w_i^2$ ）则会使模型的参数值变小，防止参数过大导致模型过于复杂。这里的是正则化强度参数，通过调整它可以控制正则化的程度。
- Dropout：主要用于神经网络。在训练过程中，以一定的概率（例如 0.5）随机地将神经元的输出设置为 0，这样可以防止神经元之间的过度协同适应，使得模型更加鲁棒。例如，在一个全连接神经网络中，每次训练迭代时，部分神经元被 “丢弃”，就好像训练了多个不同的子网络，最终的模型是这些子网络的集成，从而减少了对特定神经元组合的依赖。
- 批量归一化（Batch Normalization）：批量归一化在一定程度上具有正则化的作用。在深度神经网络中，随着层数的增加，每层的输入数据分布会发生变化，这种现象称为内部协变量偏移。这会导致网络训练变得困难，并且使得模型对训练数据中的特定分布特征过度敏感。批量归一化通过归一化每一层的输入，使得每一层的输入数据分布相对稳定，减少了这种内部协变量偏移，使网络的梯度下降过程更加平滑，使得学习率的选择更加容易，使网络的训练过程更加稳定和快速。例如，在一个非常深的卷积神经网络用于图像分类时，没有批量归一化，前面层的微小变化会在后面层不断累积放大，导致模型不稳定。而批量归一化可以缓解这种情况，让网络能够更稳定地学习数据的特征，而不是学习到数据分布变化带来的虚假特征，从而减少过拟合。此外，由于它是基于小批量数据进行操作的，不同小批量之间的归一化统计量（均值和方差）会有一定的差异。这种差异类似于给模型增加了噪声，使得模型不会过度依赖某一个特定的训练样本的特征，从而起到了类似 Dropout 的正则化效果，防止模型过拟合。不过，它的正则化效果相对较弱，通常不能完全替代 Dropout 等专门的正则化方法。
早停止（Early Stopping）：在训练过程中，监测模型在验证集上的性能。当验证集上的性能不再提升（如准确率不再提高或者损失函数不再下降）时，停止训练。这样可以避免模型过度训练，从而防止过拟合。

2. 欠拟合的解决方法

增加模型复杂度：对于神经网络，可以增加网络的层数、每层神经元的数量或者改变网络的架构。例如，从一个简单的浅层神经网络转换为一个深层神经网络。在多项式回归中，可以增加多项式的阶数。例如，从一个简单的线性回归模型 $\theta_0 + \theta_1 x$ 扩展为二次回归模型 $\theta_0 + \theta_1 x + \theta_2 x^2$ ，以更好地拟合数据中的非线性关系。
改进特征工程：重新审视和选择更合适的特征。可以通过领域知识来挑选对目标变量有重要影响的特征。同时，对特征进行合理的变换，如归一化、标准化等操作，使特征在同一尺度上，便于模型学习。例如，在文本分类任务中，可以使用词嵌入技术（如 Word2Vec、GloVe 等）将文本特征转换为更有表现力的向量形式，帮助模型更好地学习文本中的语义信息。
减少正则化: 如果之前使用了正则化，可以尝试减少正则化的强度。
增加训练轮数: 如果模型没有充分训练，可以尝试增加训练的轮数。
调整学习率: 确保学习率既不是太高也不是太低，以便模型能够有效地学习。