调参

1. 调什么参数

1 训练层面

0 权重初始化

1 学习率

2 batch size

3 epoch

4 dropout

5 正则化

6 优化算法

2 模型层面

1 激活函数

2 网络尺寸

2. 超参数怎么调

1.手动调参

经验值

2.自动化调参

​ a.网格搜索

超参数排序组合，如果有n个参数，每个参数都有m个候选值，那么网格搜索中就要训练m的n次方个模型。

​ b.随机搜索

比起网格搜索：1、搜索次数少，快 2. 因为有偶然性，可能不是最优

​ c.贝叶斯优化

https://zhuanlan.zhihu.com/p/146633409

Bayesian optimization algorithm，简称BOA

网格搜索和随机搜索，每次都是相互独立的，贝叶斯优化利用之前已搜索点的信息确定下一个搜索点

参考

https://zhuanlan.zhihu.com/p/340578370

https://www.jianshu.com/p/92d8943fb0ba

https://zhuanlan.zhihu.com/p/146633409

https://blog.csdn.net/weixin_45884316/article/details/109828084

https://www.cnblogs.com/zingp/p/11352012.html#_label8

https://www.jianshu.com/p/71f39c2ea512