激活函数在卷积神经网络中的作用是什么？常见的激活函数有哪些，它们各自有什么特点？
ReLU（Rectified Linear Unit）函数 ：ReLU是目前最常用的激活函数之一，公式为f(x) = max(0, x)。它在正区间内的导数为1，负区间为0，极大地减少了梯度消失问题。不过ReLU的一个问题是当输入为负值时，输出为0，可能导致“死神经元”（即神经元停止响应输入的变化，不再参与权重更新）的现象。Leaky ReLU和PReLU ：为了解决ReLU在负区间完全截止梯度的问题，衍生出了Leaky ReLU（在负区间有非零斜率）和Parametric ReLU（PReLU，斜率可以学习）等变种。
如有侵权请及时联系我们处理，转载请注明出处来自
推荐文章
科技快看 广州壹创集信息科技有限公司 版权所有 粤ICP备2021122624号
