关于梯度消失

loss无明显变化一直停留在某个数值，梯度消失导致的 1.考虑激活函数选择 使用RELU激活函数（relu函数是否也会存在梯度消失的情况？） 2.加入BN层 BN层加入在激活函数前面