第130章 步步紧逼的追赶者(下)（2 / 2）

总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。

梯度消失和梯度爆炸问题也是一个极其难缠的问题。

和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

该问题在长短期记忆神经网络出现后得到一定的缓解。

但还是没有彻底解决梯度消失和梯度爆炸问题。

除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。也各有各的局限性。

总之梯度消失和梯度爆炸问题但还没有被彻底解决。

到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。

这个问题已然严重制约机器学习向前发展。

心念及此，埃克来尔·基尔卡加不免有些感慨。

也不知道这个问题什么时候会被什么人彻底解决？？？

埃克来尔·基尔卡加突然感觉他对l算法这么较真也没什么必要啊？

诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。

不也没什么人着急吗？至少看起来没啥人着急？

自己为什么要为要跟l这么一个算法较劲呢？

埃克来尔·基尔卡加突然有些疲乏感。

不过面对兴冲冲的同事，埃克来尔·基尔卡加还不至于打退堂鼓。

埃克来尔·基尔卡加：“我现在还不能够肯定l算法中用的就是长短期记忆神经网络。

只能说l算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。

至于到底是不是还有待验证。

说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。

据我了解尹芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。

只不过他们用的具体是哪种循环神经网络暂时还不清楚。

不过不管怎么说，我觉得能有麻省理工学院那边的帮助的话对我们来说将会助力不小。”

哈雷·普来斯：“这倒是个问题，不过问题不大。

国最不缺的就是研究机构。

我前段时间听尼克那家伙说普林斯顿大学的朱尔斯教授正在搞一个循环神经网络的项目。

或许我们可以跟普林斯顿大学展开合作？”

埃克来尔·基尔卡加：“呃，你确定要跟普林斯顿那些傲慢的数学老打交道？

他们看我们的就跟我们看那些文科生的一样？

还有如果我们和他们合作的话，究竟是以谁为主导？研究出来的成果又怎么划分？”

哈雷·普来斯：“他们怎么看我们无所谓。

一群搞数学的现在搞循环神经网络，谁更占优势还不一定呢？

至于谁主导到时候再说吧，一切达者为尊。”

埃克来尔·基尔卡加：“那你去联系吧，反正我是懒得跟朱尔斯那个老秃驴洽谈。”

哈雷·普来斯：“呃，其实我也不想去跟朱尔斯联系……”

埃克来尔·基尔卡加：“那你还提这个馊主意？”

哈雷·普来斯坏坏地道：“或许我们可以叫阿西来·维拉斯克斯去，谁叫他卖专利给那个l……”

埃克来尔·基尔卡加：“这是个好主意！”