前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。 感知机相关；定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。 激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化） 深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介绍。 深度模型中的优化：参数初始化策略；自适应学习率算法（梯度下降、AdaGrad、RMSProp、Adam；优化算法的选择）；batch norm层（提出背景、解决什么问题、层在训练和测试阶段的计算公式）；layer norm层。 FastText的原理。 利用FastText模型进行文本分类。
主要是以前做了一些内容，不然这个节奏有点难。2天学习这些太多了。 tf.nn.dynamic_rnn返回值详解 基于Tensorflow的LSTM代码分析-回归 正则化，L1正则和L2正则
继续学习
