关于梯度消失

    xiaoxiao2022-07-05  138

    loss无明显变化一直停留在某个数值,梯度消失导致的 1.考虑激活函数选择 使用RELU激活函数(relu函数是否也会存在梯度消失的情况?) 2.加入BN层 BN层加入在激活函数前面

    最新回复(0)