1
2

for ckpt in tf.contrib.training.checkpoints_iterator(
        FLAGS.output_dir, timeout=FLAGS.eval_timeout)

持续捕捉最新的checkpoint，两次捕捉之间的最大等待时间为 eval_timeout

什么用？

用于训练验证并行，之前是交替

一个设备训练，产生checkpoint，一个设备捕捉验证

graph定义了计算方式（计算流程），本身不会进行任何计算

session帮助graph计算

可以定义多个graph，例如一个graph实现z = x + y，另一个graph实现u = 2 * v

参考

https://www.jianshu.com/p/b636de7c251a

https://blog.csdn.net/qq_40242197/article/details/105315219

1 Gather function not implemented for CPU tensors

多卡训练时候，net的forward里面存在Tensor变成其它类型的操作，比如变成numpy，list

解决：改成Tensor操作

2 RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

https://blog.csdn.net/weixin_41990278/article/details/90311313

https://blog.csdn.net/wu_xin1/article/details/116502378

https://blog.csdn.net/gostman/article/details/107456597

https://zhuanlan.zhihu.com/p/37102973

随着TF2.0出现，TF也有动态图了

模型，数据需要指定设备

单机单卡

单机多卡

https://blog.csdn.net/weixin_38208912/article/details/105122668

https://blog.csdn.net/leviopku/article/details/109318226

https://blog.csdn.net/weixin_43750248/article/details/115698356

https://zhuanlan.zhihu.com/p/74792767

多机多卡

NO. there is no string tensor so you cannot directly convert string to tensor

https://zhuanlan.zhihu.com/p/113734249

1 pytorch中对tensor操作

https://blog.csdn.net/HailinPan/article/details/109818774

2 模型加载

1 model.load_state_dict(torch.load(path))

2 model=BertModel.from_pretrained

后者的底层为前者

用法不同，前者model为一个对象，然后用load_state_dict加载权重；后者BertModel为一个类，然后用from_pretrained创建对象并加载权重

https://blog.csdn.net/weixin_41912543/article/details/108147378