做WB为什么要用内参

在深度学习模型中，权重和偏置参数被称为模型的“内参”（internal parameters）。使用内参进行批归一化（Batch Normalization）有以下几个重要原因：

1. 解决梯度消失和梯度爆炸问题：使用内参可以使模型的权重参数保持在较小的范围内，避免梯度消失或梯度爆炸问题，从而提高模型的训练稳定性。

2. 提高模型收敛速度：使用内参可以加速模型的收敛速度，从而减少训练时间和计算资源消耗。

3. 增强模型泛化能力：通过使用内参，模型可以更好地泛化到新的数据集，提高模型的泛化能力。

4. 对抗内部协变量偏移：内参的使用可以帮助解决深度神经网络中的“内部协变量偏移”问题，即每一层输入的分布不稳定导致网络训练困难的问题。

总的来说，使用内参进行批归一化可以提高模型的训练稳定性、收敛速度和泛化能力，是深度学习模型中的重要技术之一。

标签：内参