偏差方差权衡 - Bias Variance Trade off

偏差 - Bias

高偏差的原因：对问题本身的假设不正确

• 欠拟合 underfitting
• 特征和问题不相关， 比如用名字预测考试成绩

方差 - variance:

数据的一点点扰动就会较大的影响到模型！模型没有完全的学习到问题的实质，而学习到很多噪音。 方差大的通常原因是模型太过复杂，比如用了高阶多项式回归。 - 过拟合会引入方差

不可避免地误差：

数据本身的噪音所致。

模型误差 = 偏差(Bias) + 方差(Variance) + 不可避免地误差

增加模型复杂度会显著提升模型的方差并减少偏差。反过来，降低模型的复杂度则会提升模型的偏差并降低方差 - 权衡

kNN高度的依赖样本数据，决策树也是非参数学习算法，会引入高方差。 参数学习算法通常是高偏差算法。 - 对数据有极强的假设，数据要符合一个数学模型，拟合的目标是求出对应模型的参数。