第⼆章作业.md
2023-10-20
1. 假设有⼀个只有1个隐层的多层感知机，其输⼊、隐层、输出层的神经
元个数分别为33、512、10，那么这个多层感知机中总共有多少个参数是
可以被训练的？
模型参数包括2个权重矩阵和2个偏置向量：
第⼀层的权重矩阵有33*512个变量，偏置向量有512个变量，第⼀层共17408个变量；
第⼆层的权重矩阵有512*10个变量，偏置向量有10个变量，第⼆层共5130个变量.
这个多层感知机总共有22538个参数是可以被训练的.
2. 反向传播中，神经元的梯度是如何计算的？权重是如何更新的？
. 根据神经⽹络计算出的值和期望值计算损失函数的值L(W)。
. 计算损失函数对每个权重或者偏置的偏导，复合函数的偏导根据复合函数的 求导法则进⾏求解。
. 根据w = w - η * 偏导数 进⾏参数的更新操作。（其中η为超参数学习率）
. 通过多轮迭代完成参数的更新，以缩⼩计算值和真实值之间的误差。
3. 请在同⼀个坐标系内画出五种不同的激活函数图像，并⽐较它们的取
值范围。
Leaky ReLU (α=0.01)、紫⾊：ELU (α=1.0)
1/2
第⼆章作业.md
2023-10-20
v
4.假设激活函数的表达式为 ϕ(v) = √ 1+v
,请给出它的导数表达式并求出
其在原点的取值
2
1
√ 1+v2 −v⋅ 2 ⋅
ϕ (v) =
′
1+v2
2v
2
√1+v
=
1
3
(1+v2 ) 2
, ϕ (0) = 1.
′
2/2