1
2

for ckpt in tf.contrib.training.checkpoints_iterator(
        FLAGS.output_dir, timeout=FLAGS.eval_timeout)

持续捕捉最新的checkpoint，两次捕捉之间的最大等待时间为 eval_timeout

什么用？

用于训练验证并行，之前是交替

一个设备训练，产生checkpoint，一个设备捕捉验证

graph定义了计算方式（计算流程），本身不会进行任何计算

session帮助graph计算

可以定义多个graph，例如一个graph实现z = x + y，另一个graph实现u = 2 * v

参考

https://www.jianshu.com/p/b636de7c251a

https://blog.csdn.net/qq_40242197/article/details/105315219

参数没变，只是选择了训练中验证最好的模型，类似early stop

不同时行不行？不同时可能无法得到最优的step，有可能过拟合

bert最大长度固定，默认为512

数据层面：

1 直接截断：太粗暴，可能把重要的丢了

2 抽取重要部分

3 分段+拼接

​ 问题很多，怎么训练？？怎么预测？？？

模型层面：

transformer-xl based的ptm，比如xlnet

传统rnn based的seq2seq

参考

https://www.zhihu.com/question/395903256

[PAD]：要将句子处理为特定的长度，就要在句子前或后补[PAD]

[CLS]：句子的开始

[SEP]：分开两个输入句子

[mask] ：遮盖句子中的一些单词

[UNK]：标记词典内没有的词

自己调用自己

注意出口

1
2
3

def function():
	1 最小子问题，出口，特解
	2 通释

分类

TLM : Translation Language Modeling

DAE: Denoising Autoencoder

CTL: Contrastive Learning

RTD： Replaced Token Detection

SOP：Sentence Order Prediction

DIM：Deep InfoMAx

参考

https://arxiv.org/pdf/2003.08271v4.pdf

https://zhuanlan.zhihu.com/p/360892229

Error Back Propagation

两个过程：1.信号的正向传播 2.误差的反向传播

训练

验证: 调参

测试