`
xiebh
  • 浏览: 603857 次
  • 性别: Icon_minigender_1
  • 来自: 太原
社区版块
存档分类
最新评论

为什么神经元的激活函数是sigmoid型?

 
阅读更多
BP神经网络中的激活函数为什么要用sigmoid型这个问题很简单。
现在大多数人在用的就是BP了。
BP权值的调整采用 Gradient Descent 公式ΔW=-η(偏E/偏w),这个公式要求网络期望输出和单次训练差值(误差E)求导。
所以要求输出值处处可导。。。。s函数正好满足处处可导。

假设现在有5个数字,分别是a=0.8,b=1.5,c=1.2,d=1.9,e=10,它们的关系是a<c<b<d<e。e特别大,有可能是样本采集失误出现的错误数据,经过sigmoid变换,可以看到这几个数据的差异变小了,但大小关系仍然是a<c<b<d<e。根据函数图像可知,sigmoid函数可以在保持数据大小关系不变的情况下使特别大或特别小的数变得普通,这一特性很适用于分类问题和bp网络数据的处理。
purelin(45度直线)可以用于最后一层的输出。
箕舌线会破坏数据的大小关系,使元素的特征变得混乱,不适用。

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics