神经机器翻译的技术——残差网络

翻译资讯    发布时间:2018/4/25 16:07:00

今天乐文翻译公司带你了解下神经机器翻译的技术之一残差网络(Residual Network)。

    所谓的残差网络就是一种跨层次的链接机制。如上图所示,被灰粉色遮蔽的部分就是使用了残差网络机制的网络链接。注意,原始网络中,每一个跨层次的链接都仅仅链接上下两个层次,但是在这里由x10到+号的链接就是这种跨层次的残差网络机制链接。

    有了这样一种跨层次链接的机制就使得网络可以做得很深很深,从而实现了深度上的革命,而且可以让准确率得到非常显著的降低。那么,残差网络是如何实现这种跨层次链接,同时又加速网络学习的呢?让我们看下图:

    我们知道,其实神经网络就是一个从输入到输出的函数。那么对于一个局部的两层的网络来说,它也可以被看作是一个小型的函数。我们不妨记这个小型的网络是H(x),它恰恰就是我们的两层网络要学习的函数。

我们不妨可以把这个函数分解为两部分,一部分是直接从输入端输入进来的信号x,以及一部分剩余的量(残差)F(x),而这部分残差F(x)就可以交给这两层网络来学习。这样,当我们的网络逼近F(x)函数的时候,我只需要加上输入信号x就可以自然得到我们想要的函数H(x)。

    那么,我们为什么要把H(x)拆成F(x)和x两部分呢?答案就在于,当我们直接把输入信号x导入给输出节点+的时候,我们实际上创造了一个信息传输的捷径,这就可以大大节省训练这个局部小网络的世界。当然,这里面的前提是说,在大多数情况下,正确的H(x)函数是和x这个信号具有类似的数量级的。所以,我们创造了捷径后,网络只需要做微调,以学习实现一个残差函数F(x)的神经网络就可以了。

有了这种残差的机制,我们就可以让信息更快地通过网络,从而大大地节省了网络训练的时间,这也就自然可以让我们将网络的层次加深,这就是残差网络的基本原理。

有了残差机制,现在的网络可以深到1000层之多。

    乐文翻译公司的平顶山翻译分部也在不断完善自己的技术,从语法、专业性上有了突飞猛进的提高,有翻译服务相关的需求,可以随时与我公司联系,客服热线:400-895-6679

Copyright © 2003-2019 All Rights Reserved. 北京联合乐文翻译有限公司 京ICP备17046879号-1