过拟合,欠拟合以及解决办法

1.偏差和方差

a.偏差

期望输出与真实标记的差别称为偏差(bias),即

b.方差

c.噪声

d.泛化误差(error)

2.过拟合、欠拟合与偏差、方差的关系

欠拟合:模型不能适配训练样本,有一个很大的偏差。

过拟合:模型很好的适配训练样本,但在测试集上表现很糟,有一个很大的方差。

3.如何解决过拟合和欠拟合

a.模型能力(一个模型参数数量不同,不同模型)

b.正则化

正则化参数出现的目的其实是防止过拟合情形的出现;如果我们的模型已经出现了欠拟合的情形,就可以通过减少正则化参数来消除欠拟合

c.特征数量

欠拟合:增加特征项

过拟合:减少特征项

d、训练的数据量

欠拟合:减少数据量

过拟合:增加数据量

参考

https://zhuanlan.zhihu.com/p/38853908

https://blog.csdn.net/hurry0808/article/details/78148756

https://blog.csdn.net/cltcj/article/details/119155683


:D 一言句子获取中...