好处

1 多个模型一起训练

2 可以提升单一任务的效果

微软的MT-DNN[33]已经证明基于预训练模型的多任务Fine-tuning可以提升各项子任务效果

结构

loss

设计loss是重点

除了各个子任务的损失直接相加，还有别的方式吗

辅助任务怎么设计

问题

辅助任务？？

参考

https://zhuanlan.zhihu.com/p/397196665

https://tech.meituan.com/2020/07/09/bert-in-meituan-search.html

1 分类

标签

方法

1 转成多个2分类相加

假设标签有q个类别，那就是q个二分类

2 直接多标签分类

1 单label多分类

m为样本总和，q为类别数量

2 推广

https://zhuanlan.zhihu.com/p/385475273

https://zhuanlan.zhihu.com/p/138117543

评价指标

https://zhuanlan.zhihu.com/p/385475273

2 文本翻译

一句英文输入，有多个版本的中文翻译，这种一对多怎么训练？？？？

参考

https://zhuanlan.zhihu.com/p/138117543

https://www.jianshu.com/p/ac3bec3dde3e

多任务学习中经常可以看到

参考

https://blog.nowcoder.net/n/600d5e96508d4b818009227fdc9b8cbc

损失函数一般都要用可导函数，因为常用的优化算法，比如梯度下降，牛顿法，都需要导数。

1.回归损失

1.1 Mean Squared Error

$$L=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2$$

1.2 Mean Absolute Error

$$L=\frac{1}{N}\sum_{i=1}^{N}|y_i-\hat{y}_i|$$

1.3 Huber Loss ( Smooth Mean Absolute Error Loss )

$$L=\frac{1}{N}\sum_{i=1}^{N}[\mathbb{1}_{|y_i-\hat{y_i}|\le \delta}\frac{(y_i-\hat{y_i})^2}{2}+\mathbb{1}_{|y_i-\hat{y_i}|> \delta} \ (\delta \cdot |y_i-\hat{y_i}|-\frac{1}{2}\delta^{2})]$$

2.分类损失

2.1 Cross-entropy loss

https://zhuanlan.zhihu.com/p/100921909

• K是种类数量
• y是标签
• p是神经网络的输出，也就是指类别是i的概率

2.2 Hinge loss

$$L=max(0,1-y\cdot \hat{y})$$

SVM模型的损失函数本质上就是 Hinge Loss + L2 正则化

参考

https://blog.csdn.net/m0_38007695/article/details/114983574