4.9

回忆图 4-7 描述的 8x3x8 网络。考虑训练一个 8x1x8 的网络来完成同样的任务，也就是仅有一个隐藏单元的网络。注意，图 4-7 中的 8 个训练样例可以被表示为单个隐藏单元的 8 个不同的值（例如 0.1，0.2，……，0.8）。那么仅有一个隐藏单元的网络能够根据这些训练样例学习恒等函数吗？提示：考虑类似这样的问题“是否存在这样的隐藏单元权值，能产生上面建议的隐藏单元编码？”、“是否存在这样的输出单元权值，能正确解码这样的输入编码？”和“梯度下降搜索可能发现这样的权值吗？”。

---

图 4-7 描述的 8x3x8 网络

如 https://zero-ml.jiwai.win/x3x8-network 所示。

8x1x8 的网络会是这样

如 https://zero-ml.jiwai.win/x1x8-network 所示。

是否存在这样的隐藏单元权值，能产生上面建议的隐藏单元编码？

由于只有一个隐藏单元，因而只有一个权值，从而不能产生能够区分 8 个输入的编码。从以上的两个 notebook 的结果可以看到，8x1x8 的网络无法学习恒等函数，而 8x3x8 的网络可以。

是否存在这样的输出单元权值，能正确解码这样的输入编码？

由于只有一个隐藏单元，因而只有一个权值，从而不能产生能够区分 8 个输入的编码。也就是说，输出单元无法正确解码这样的输入编码。

梯度下降搜索可能发现这样的权值吗？

由于只有一个隐藏单元，因而只有一个权值，从而不能产生能够区分 8 个输入的编码。也就是说，梯度下降搜索无法发现这样的权值。