> Photo by Kristina Tripkovic on Unsplash

了解偏差和方差如何提高模型的准确性

如果您不了解自己在做对还是做错，那[ L T ) O么训练任何新模型都会很困难。 大多数时候，模型是黑匣子，它们吸收数据并吐出精度数字。 了解模型为什么表现不佳是了解如何改进模型的关键。

通过识别偏差和方差x % r % ) m来了解模型为何表现不佳。

了解如何通过减少偏差= u U H和方差来改善模型。

识别偏差和方差

让p [ = / o我们从谈论错误开始。 错误是模型在测试数据上的不准确程度。

如果您的模型在测试集上达到86％的准确性，则存在14％的误差。 这种误差有些是偏差，有些是方差。

上图有两点：1。 偏差是训练set2的错误。 差异是训练和测试准确性之间的差距

偏差

偏差描述了模型从训练数据中学习的能力。 k E @ ` 较大3 = 的偏差意味着该模型很难从训练数据中学习。 如果模型对训练数据的准确性为90％，则模型的偏差为10％。 这种偏见中的一些是可以避免的，A } o q T 8 -而某些则不是。

不可避免的偏见

不可g + i X R E M j避免的偏差被称为最佳K F x o | X v -错误率。 这是模型性能的上限。 它认识到某些任务，例如字幕或库存预测，即使对于人类，也无法100％准确地预测。 因此，我们可以期望，即使在一个完美的世界中，我们的模型至少在某些时候是错误的。

如果您确定模型至少有4％的时间是错误的，则模型会有4％的不可避免的偏差。

可以避免的偏差= ) X q是最佳错误率和训练错误之间的差异。 这是我们可以尝试减少以实现最佳错误率的错误。

方差

方差描述了您的y = m q # x P模型可以很好地推广到尚未看到的数据的能力。 我们将方差定义为训练s f准确性和测试准确性之间的差异。

偏差与方差. W d d 8 j 0 n {的权衡

用于减少偏差或方差的大多数方法都会以一种为代价来减少一种。 有一些例外，但是大多数时候建立最佳模型意味着将偏差和方差最小化。

减少偏差和方差

减 W W D少可避免的偏差

增加K & - Q模型大小增加p W m D模型大小是减少可避免的偏差的一种方法。模型越大，调整的参数越多。 更多参数使模型可以学习更复杂的关系。 您可以通过向模型添加更多的层或节点来增加模型的大小。 模型从s X ! 9 B ( I l数据中学习得越好，它越接近最佳错误率。

减少规则减少模型的规则可以使模型* 2 u更好地拟合R 1 ~训练数据。 但是，较少的正则化意味着您的模型也不会一概而n a论，从而增加了` J # H方差。 这是偏置与方差权衡的经典示例。

更改模型的体系结构更改模型的体系结构可以帮助其更好地适应数据集。 这类似于增加模型的大小，但具有更大的自由度。 您可以更改以下: ` 3 u O任何内容以及更多内容，但要谨慎行事。

这些技术可以改变偏差和方差1。 图层激活功能（tanh，relu，Sigmoid等）2。E H i 3 该模型正在学习什么（ANN，CNN，RNN，KNN等）3。 模型的学^ N s 4习方式（Adam，SGD，RMSprop等）4。 更改其他超参数（学习率，图像大小等）

添加新功能向训练数据添加新功能可以为模型提供更多信息，以供其学习。 这可以通过称为功能工程的过程来完成。 在此过程中，您d g $ Y Q L 3还可以添加功能，以早日在开发中削减功能。

减少差异Variance

添加更多数据添加数据是几乎总是提高模型性能的最简单方法。 在Andrej Karpathy的文章\"数据的不合理有效性\"中可以看到添加更多数据的效果。 这通常不会影响偏差，因此是减少差异的首选方法。

增加正则化添加正则化可f h } A u D防止模型过度拟合数据。 尽管这减少了方差，但始终会增加偏差。 除了减少方差外，添加正则化还可以产生明显的积极影响。 我最喜欢的是使用辍学实现蒙特卡洛辍学。

减小模型大小减小模型大小将I w n E X U c E有助于减少训练数据的过拟合。 尽管这项技术最简单，但会降2 I L | - M 6 K 低模型学习数据集复杂模式的能力3 ! Z I b B Y f。 通过添加正则化通常可以看到相同的结果，因此该方法更为可取。

特征选择通过删除不需要的特征来减少数据集的维数是减少模型差异的一种好方法。 您可以使用主成分分析（PCA）过滤出要素或将它们组合为几个主要成分。

全貌

将所有因素放在一起后，您应G a 8 X & y该能够识别偏差和方差并知道如何减少偏差和方差。

摘要备忘单

减少偏见Bias

增+ Q l e . d [ ?加模型尺寸

减少正则化

变更模型架& u [ G U 构

新增特征

减少差异Variance

添加更多数据

缩小模型尺寸

添加正则化

特征选择

资源资源

所有这些概念以及更多g B k概念都在Andrew Ng的《机器学习渴望》一书中介绍。 它是免费阅读，打印和分发的。 我强烈建+ g u 0 x l T Y议您检查一下。

所有的图表都是x s @ d c O } D 2由作者创建的：

Mikian Musser-中

阅读Mikian Musser在Medium上的文章。 数据科学家https://mm909.github.io/Mikian/。 每天，Mikian Musser和…? a _ J S /…

(本文翻译自Mikian Musser的文章《Twol R / Q 6 D 3 / Important Machine Learning Concepts to Improve Every Model》，参考：https://tos 9 Uwardsdatascience.com/two-important-machine-learning-concepts-to-improve-e{ ] U [very-model-62fd05891Z B w Y 16b)