360网站收录提交入口,fizz wordpress,吉林市今天消息,申诉网站风险问题描述
#随机初始化权重 w12 np.random.randn(100, 784)/np.sqrt(784) 为什么除以28
回答
这里的代码是初始化一个深度学习模型中的权重矩阵w12。权重矩阵的形状是(100, 784)#xff0c;这是一个从784个输入节点到100个隐藏节点的全连接层。 除以np.sqrt(784)是权重初始…
问题描述
#随机初始化权重 w12 np.random.randn(100, 784)/np.sqrt(784) 为什么除以28
回答
这里的代码是初始化一个深度学习模型中的权重矩阵w12。权重矩阵的形状是(100, 784)这是一个从784个输入节点到100个隐藏节点的全连接层。 除以np.sqrt(784)是权重初始化的一种策略通常称为“Xavier初始化”或“Glorot初始化”。该初始化策略的目的是使权重的初始值具有合适的尺度以保证网络中每一层的信号既不会过小也不会过大从而有助于模型的收敛。 784这个数字是28 x 28的结果这很可能是一个28x28像素的图像对应的是MNIST数据集中的图像尺寸。 除以np.sqrt(784)的原因是
根据Xavier初始化当使用tanh激活函数时权重应该从均值为0、方差为1/n的分布中初始化其中n是输入节点的数量。在这里n 784。当从标准正态分布中随机抽取权重使用np.random.randn()时得到的权重具有均值0和方差1。为了将方差调整为1/n可以将权重除以np.sqrt(n)。
因此除以np.sqrt(784)是为了将权重的方差调整为1/784这有助于优化算法的收敛性。
备注
random.randn 是NumPy库中的一个函数用于从标准正态分布均值为0方差为1中生成随机数。
具体来说当你使用 random.randn 时
它会返回一个或一组从标准正态分布中随机抽取的数值。参数决定了返回数组的形状。例如np.random.randn(3, 4) 会返回一个3x4的数组其中的每个元素都是从标准正态分布中随机抽取的。
使用 random.randn 是初始化神经网络权重的常用方法特别是当使用某些权重初始化策略如Xavier初始化时。从标准正态分布中抽取的随机权重可以确保在训练开始时权重是小的、不同的并且它们的分布具有某种规律性。这有助于避免某些训练问题如权重全部更新为相同的值或权重更新太大导致的梯度爆炸。
