权重初始化

参数初始权重为什么不全0或者任意相同值

$$某一层任意一个神经元 \\ z=W_{1\times m}X_{m\times 1}+b_{1\times1}$$

如果我们将神经网络中的权重集初始化为零或者相同，那么同一层的所有神经元将在反向传播期间开始产生相同的输出和相同的梯度。导致同一层每个神经元完全一样，等价于只有一个

常用的三种权值初始化方法

随机初始化、Xavier initialization、He initialization

参考

https://mdnice.com/writing/6fe7dfe1954945d180d6b36562658af8

https://m.ofweek.com/ai/2021-06/ART-201700-11000-30502442.html

https://blog.csdn.net/qq_15505637/article/details/79362970