为什么在分类问题中 Loss 一般用交叉熵损失函数（cross entropy） 而不适用类似平方损失函数
为什么需要 非线性的激活函数
训练误差 （training error）和泛化误差（generalization error）
虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。
防止过拟合的方法：
权重衰减（weight decay）
丢弃法 dropout
正向传播 forward propagation 和 反向传播 back-propagation
