BP神经网络及BP算法详细数学推导

文章目录

什么是BP神经网络前向计算过程后向分析过程详细实例计算前向过程反向传播过程

什么是BP神经网络

一般指使用BP算法（误差逆传播算法error BackPropagation）训练的多层前馈神经网络模型结构

首端和末端 有输入层和输出层 中间的为引层 每层神经元与下一层神经元全互连，同层神经元不存在连接

前向计算过程

1.从输入层到达隐层：激活函数f ,参数 v , w 隐层中每一个神经元的输出： $f(\sum vx)$ 其中f 取simoid函数 2.从隐层到输出层： $f(\sum wf\sum vx)$

后向分析过程

1.假定要完成回归任务，取损失函数SME loss 2. 将误差展开到隐层 3.将误差展开到输入层 至此可以看到，整个输出$o$ 是怎么得到的，即经过隐层权重叠加再 经过激活函数的处理 得到输出层的输入，再次经过权重相加 激活函数得到最终的$o$,同时我们能够清晰的看到损失函数 值的来历 之后就可以经过梯度下降迭代优化

详细实例计算

有如下的简单神经网络：

前向过程

1.到达隐层输出值 2.到达输出层输出值

3.损失函数 计算

反向传播过程

待续。。。