梯度消失和爆炸的产生
当神经网络层数很大时,即很大时,w与1之间的大小关系会产生梯度消失与梯度爆炸的问题
当w<1时,会非常小,梯度消失
当w>1时,会非常大,梯度爆炸
解决方法
权重初始化
层数n越大,越要使特征值w变小
当神经网络层数很大时,即很大时,w与1之间的大小关系会产生梯度消失与梯度爆炸的问题
当w<1时,会非常小,梯度消失
当w>1时,会非常大,梯度爆炸
层数n越大,越要使特征值w变小
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/240355.html
如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!