• 欢迎浏览“String me = Creater\忠实的资深Linux玩家;”,请文明浏览,理性发言,有侵犯你的权益请邮件我(creater@vip.qq.com).
  • 把任何的失败都当作一次尝试,不要自卑;把所有的成功都想成是一种幸运,不要自傲。
  •    2年前 (2017-01-23)  神经网络 |   抢沙发  10 
    文章评分 0 次,平均分 0.0

    前言

    BP神经网络,训练的时候,给定一组输入和输出,不断的对权值进行训练,使得输出达到稳定。但BP神经网络并不是适合所有的场景,并不真正的体现出某些场景的真正特点。回到经典的概率论问题,抛硬币问题,假设你已经抛了100次的,90次是正面的,10次是反面的,问现在继续在抛一次,出现正面的概率是多少?如果没有前面几次的经验,很正常的会认为再次出现正面的概率是50%,但由于我们之前有对这个进行了实验,即有了经验了,按照贝叶斯定律,出现正面的概率肯定会大于50%。BP神经网络也少了对前面结果的一种反馈。

    常见,易懂的受到前位影响的算法,加法算法。十位的结果,所到个位结果的影响,因为可能有进位,同样,百位的结果所到十位的影响。

    这种受到前位影响的算法非常的常见,而经典BP神经网络并不能很好的反映这种算法的特性,需要就经典的BP神经网络进行优化和改造,也就是引进前位,历史数据对网络的影响,使其具备时序性。通过历史数据的关联来推测后续的事情。

    递归神经网络RNN

    从前面加法算法的动态图中,对现有的 BP 神经网络进行改造,也就是加入前位的结果对于后续网络的影响。

    这里把 BP 神经网络设计成上图的形式,很形象的揭示了递归神经网络的特点,前向的结果,作为下一个输入,影响下一个网络的结果。递归神经网络,在很多方向已经取得了很好的成果。而一种特殊的递归神经网络 Long Short Term 网络(LSTM),取到的结果最为璀璨,是这个方向的明星。

    来看看LSTM的实现。

    LSTM 网络

    1997年 Hochreiter & Schmidhuber 提出了Long Short Term 网络,它是一种 RNN 的实现形式,在很多问题上,LSTM 取得了相当大的成功,在许多的领域上都有很好的成果。

    最简单的 LSTM 网络:

    把前位的输出结果当成后位的输入,经过 tanh 层,相当于扩充了原来BP神经网络的另一个输入。这样一次的进行训练。

    在简化一点的方式如下图:

    如果去掉 layer1 层,那么就是一个最简单的 BP神经网络了。这里引入了 layer1 层,使得经典的 BP 神经网络多了一个输入,layer_1 层在加法算法中,表示的是前一个输入就可以反映出加法算法的特性,从结构来看,这个 LSTM 的变形并不是非常的复杂,但现在就重要的就是如何计算出各个层次的增量,然后进行迭代了。

    这里主要需要解决导数问题 python 的代码实现:

    变量的更新:

    其中 layer1delta 变量为两个变量的和:

    完整的迭代过程在:

    https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/

    在递归神经网络中,跟经典的BP神经网络在结构上并没有太多的不同,最关键的点,还是在求解增量,进行迭代。

    回头再想,如果仅仅用BP神经网络的算法能不能实现出加法算法,我觉得是可以的,但是速度和准确性不会有LSTM高。因此,LSTM的结构也是可以改进算法,不同的结构方式可以避免算法的很多缺陷。

    更一般的LSTM结构:

    算法的迭代过程在:

    http://nicodjimenez.github.io/2014/08/08/lstm.html

    https://github.com/nicodjimenez/lstm

    算法跟BP神经网络没有太大的不同,但要注意的还是各个变量的增量和迭代问题。

    递归神经网络的应用

    递归神经网络跟BP神经网络,最大的不同是引进了时序,可以根据以往的数据来推测未来的事件。这是现在比较热门的一个方向。比较多的应用实在语音和文本的处理上,网上有相当多的关于递归神经网络的应用,比如写出像汪峰一样的歌词,默写唐诗,写冷段子等。但要写出像样的歌词和诗词,还需要做很多的处理,如果把递归神经网络应用在推荐系统里,也会得到不错的效果。

    参考

     

    除特别注明外,本站所有文章均为String me = "Creater\忠实的资深Linux玩家";原创,转载请注明出处来自http://unix8.net/home.php/5451.html

    关于

    发表评论

    暂无评论

    切换注册

    登录

    忘记密码 ?

    切换登录

    注册

    扫一扫二维码分享