之前描述的LSTM结构是最为普通的。在实际的文章中LSTM的结构存在各种变式,虽然变化都不会太大,可是也值得一提。A8站源码交易平台
peephole connections结构
由Gers & Schmidhuber (2000)提出,它在LSTM的结构中加入了“peephole connections.”结构,peephole connections结构的作用是允许各个门结构可以看到细胞信息,详细如下图所示。

上图描绘的是所有门都能看到细胞信息,还有一些变式是在其间的某些门引进细胞信息。
耦合式
在遗忘门与输入门之间引进一个耦合。不同于之前的LSTM结构,忘掉门和输入门是独立的,这个变式是在忘掉门删去前史信息的方位加入新的信息,在加入新信息的方位删去旧信息。A8站源码交易平台-该结构如下图所示。

门循环单元
Cho, et al. (2014)提出的门循环单元(GRU)。它将忘掉门和输入门合并成一个新的门,称为更新门。GRU还有一个门称为重置门。如下图所示:
其间重置门为上图中前面那个门,决定了如何将新的输入信息与前面的回忆相结合。更新门为上图中后面那个门,定义了前面回忆保存到当时时间步的量。由于该变式的简单有效,后来被广泛应用。
A8站源码交易平台