好处

1 多个模型一起训练

2 可以提升单一任务的效果

微软的MT-DNN[33]已经证明基于预训练模型的多任务Fine-tuning可以提升各项子任务效果

结构

loss

设计loss是重点

除了各个子任务的损失直接相加，还有别的方式吗

辅助任务怎么设计

问题

辅助任务？？

参考

https://zhuanlan.zhihu.com/p/397196665

https://tech.meituan.com/2020/07/09/bert-in-meituan-search.html

1 分类

标签

方法

1 转成多个2分类相加

假设标签有q个类别，那就是q个二分类

2 直接多标签分类

1 单label多分类

m为样本总和，q为类别数量

2 推广

https://zhuanlan.zhihu.com/p/385475273

https://zhuanlan.zhihu.com/p/138117543

评价指标

https://zhuanlan.zhihu.com/p/385475273

2 文本翻译

一句英文输入，有多个版本的中文翻译，这种一对多怎么训练？？？？

参考

https://zhuanlan.zhihu.com/p/138117543

https://www.jianshu.com/p/ac3bec3dde3e

1
2

for ckpt in tf.contrib.training.checkpoints_iterator(
        FLAGS.output_dir, timeout=FLAGS.eval_timeout)

持续捕捉最新的checkpoint，两次捕捉之间的最大等待时间为 eval_timeout

什么用？

用于训练验证并行，之前是交替

一个设备训练，产生checkpoint，一个设备捕捉验证

graph定义了计算方式（计算流程），本身不会进行任何计算

session帮助graph计算

可以定义多个graph，例如一个graph实现z = x + y，另一个graph实现u = 2 * v

参考

https://www.jianshu.com/p/b636de7c251a

https://blog.csdn.net/qq_40242197/article/details/105315219

参数没变，只是选择了训练中验证最好的模型，类似early stop

不同时行不行？不同时可能无法得到最优的step，有可能过拟合

Error Back Propagation

两个过程：1.信号的正向传播 2.误差的反向传播

训练

验证: 调参

测试

1 部署框架

1 Tensorflow Serving

2 TVM

参考

https://zhuanlan.zhihu.com/p/346511883

https://zhuanlan.zhihu.com/p/423551635

https://hub.fastgit.org/onnx/tutorials

https://blog.csdn.net/zxgmlcj/article/details/103279869

https://hub.fastgit.org/microsoft/onnxruntime

https://hub.fastgit.org/onnx/onnx

https://docs.nvidia.com/deeplearning/tensorrt/quick-start-guide/index.html

https://chinese.tvm.

首先区别于欠采样 ( under sampling )和过采样 (oversampling)

作用：

减少计算量，调高训练效率

是什么

负采样，顾名思义，就是从一堆负样本中采样出一部分负样本，用于模型的训练。

1 作用在训练时候

也就是说在训练的时候采样

一个全连接网络为100X10X100,多分类，100选1，也就是说输出层只有一个正样本，99个负样本，为了减少计算量，每次只选部分负样本，比如5个，那么梯度更新的时候，只更新正样本和5个负样本的，这样还剩94个就不更新了

2 作用在训练前面

也就是说在训练前，样本已经采好了

分类

在负采样过程中，有几个问题需要重点考虑：（1）这么多负样本中，到底需要采出哪一部分作为负样本呢（2）需要采出多大数量的负样本？

https://kaiyuan.blog.csdn.net/article/details/122264543

https://zhuanlan.zhihu.com/p/456088223

参考

https://kaiyuan.blog.csdn.net/article/details/122264543

https://blog.csdn.net/ningyanggege/article/details/87869393

https://zhuanlan.zhihu.com/p/456088223