过拟合，欠拟合以及解决办法

1.偏差和方差

$$\overline{f}(\textbf{x})=\mathbb{E}_D[f(\textbf{x};D)]$$

a.偏差

期望输出与真实标记的差别称为偏差（bias），即

$$bias^{2}(\textbf{x})=(\overline{f}(\textbf{x})-y)^{2}$$

b.方差

$$var(\textbf{x})=\mathbb{E}_D[(f(\textbf{x};D)-\overline{f}(x))^2]$$

c.噪声

$$\xi^{2}=\mathbb{E}_D[(y_D-y)^2]$$

d.泛化误差（error）

$$\begin{align*} error&=\mathbb{E}_D[(f(\textbf{x};D)-y_D)^2] \\&=... \\&=(\overline{f}(\textbf{x})-y)^{2}+\mathbb{E}_D[(f(\textbf{x};D)-\overline{f}(x))^2]+\mathbb{E}_D[(y_D-y)^2] \\&=bias^{2}(\textbf{x})+var(\textbf{x})+\xi^{2} \end{align*}$$

2.过拟合、欠拟合与偏差、方差的关系

欠拟合：模型不能适配训练样本，有一个很大的偏差。

过拟合：模型很好的适配训练样本，但在测试集上表现很糟，有一个很大的方差。

3.如何解决过拟合和欠拟合

a.模型能力（一个模型参数数量不同，不同模型）

b.正则化

正则化参数出现的目的其实是防止过拟合情形的出现；如果我们的模型已经出现了欠拟合的情形，就可以通过减少正则化参数来消除欠拟合

c.特征数量

欠拟合：增加特征项

过拟合：减少特征项

d、训练的数据量

欠拟合：减少数据量

过拟合：增加数据量

参考

https://zhuanlan.zhihu.com/p/38853908

https://blog.csdn.net/hurry0808/article/details/78148756

https://blog.csdn.net/cltcj/article/details/119155683