损失函数

损失函数一般都要用可导函数，因为常用的优化算法，比如梯度下降，牛顿法，都需要导数。

1.回归损失

1.1 Mean Squared Error

$$L=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2$$

1.2 Mean Absolute Error

$$L=\frac{1}{N}\sum_{i=1}^{N}|y_i-\hat{y}_i|$$

1.3 Huber Loss ( Smooth Mean Absolute Error Loss )

$$L=\frac{1}{N}\sum_{i=1}^{N}[\mathbb{1}_{|y_i-\hat{y_i}|\le \delta}\frac{(y_i-\hat{y_i})^2}{2}+\mathbb{1}_{|y_i-\hat{y_i}|> \delta} \ (\delta \cdot |y_i-\hat{y_i}|-\frac{1}{2}\delta^{2})]$$

2.分类损失

2.1 Cross-entropy loss

https://zhuanlan.zhihu.com/p/100921909

• K是种类数量
• y是标签
• p是神经网络的输出，也就是指类别是i的概率

2.2 Hinge loss

$$L=max(0,1-y\cdot \hat{y})$$

SVM模型的损失函数本质上就是 Hinge Loss + L2 正则化

参考

https://blog.csdn.net/m0_38007695/article/details/114983574