1.3.1 计算隐藏层的值

现在为所有的连接分配权重。第一步，为所有连接分配随机值作为权重。一般来说，神经网络在训练开始前使用随机权重进行初始化。同样，为了简单起见，在介绍这个主题时，前向传播和反向传播均不包括偏置项，但是我们将在从头实现前向传播和反向传播时使用它。

现在从0和1之间的随机初始化权重开始，但请注意，神经网络训练过程后的最终权重不需要限定在一组特定的值之间。图1-9a给出了网络中权重的形式化表示，图1-9b给出了网络中随机初始化的权重。

图1-9

在下一步中，我们将输入与权重相乘，计算出隐藏层中隐藏单元的值。

隐藏层激活前的单元值如下：

h ₁₁ =x ₁ ×w ₁₁ +x ₂ ×w ₂₁ =1×0.8+1×0.2=1

h ₁₂ =x ₁ ×w ₁₂ +x ₂ ×w ₂₂ =1×0.4+1×0.9=1.3

h ₁₃ =x ₁ ×w ₁₃ +x ₂ ×w ₂₃ =1×0.3+1×0.5=0.8

计算出的隐藏层单元值（激活前）也如图1-10所示。

图1-10

现在，我们将通过非线性激活传递隐藏层的值。注意，如果不在隐藏层中应用非线性激活函数，那么无论存在多少隐藏层，神经网络从输入到输出都将成为一个巨大的线性连接。