2019/10/9
人人都能看懂的LSTM - 知乎
首发于
深度学习234
人人都能看懂的LSTM
陈诚
关注他
深度初学者
1,085 人赞同了该文章
这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分RNN
尤其LSTM的介绍之后，整个人醍醐灌顶。本篇博客就是对视频的一些记录加上了一些个人的思
考。
0. 从RNN说起
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比
赞同 1.1K
73 条评论
分享
收藏
一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不
https://zhuanlan.zhihu.com/p/32085405
1/12
2019/10/9
人人都能看懂的LSTM - 知乎
同而有不同的含义，RNN就能够很好地解决这类问题。
首发于
深度学习234
1. 普通RNN
先简单介绍一下一般的RNN。
其主要形式如下图所示（图片均来自台大李宏毅教授的PPT）：
这里：
为当前状态下数据的输入，
为当前节点状态下的输出，而
表示接收到的上一个节点的输入。
为传递到下一个节点的输出。
通过上图的公式可以看到，输出
h' 与 x 和 h 的值都相关。
赞同 1.1K
73 条评论
https://zhuanlan.zhihu.com/p/32085405
分享
收藏
2/12
2019/10/9
人人都能看懂的LSTM - 知乎
而 y 则常常使用 h' 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需
首发于
要的数据。
深度学习234
对这里的y如何通过 h' 计算得到往往看具体模型的使用方式。
通过序列形式的输入，我们能够得到如下形式的RNN。
2. LSTM
2.1 什么是LSTM
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训
练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列
中有更好的表现。
https://zhuanlan.zhihu.com/p/32085405
赞同 1.1K
73 条评论
分享
收藏
3/12
2019/10/9
人人都能看懂的LSTM - 知乎
首发于
深度学习234
LSTM结构（图右）和普通RNN的主要输入输出区别如下所示。
相比RNN只有一个传递状态
，LSTM有两个传输状态，一个
（hidden state）。（Tips：RNN中的
其中对于传递下去的
对于LSTM中的
改变得很慢，通常输出的
（cell state），和一个
）
是上一个状态传过来的
加上一些数
值。
而
则在不同节点下往往会有很大的区别。
2.2 深入LSTM结构
下面具体对LSTM的内部结构来进行剖析。
首先使用LSTM的当前输入
和上一个状态传递下来的
赞同 1.1K
https://zhuanlan.zhihu.com/p/32085405
73 条评论
拼接训练得到四个状态。
分享
收藏
4/12
2019/10/9
人人都能看懂的LSTM - 知乎
首发于
深度学习234
其中，
，
，
是由拼接向量乘以权重矩阵之后，再通过一个
成0到1之间的数值，来作为一种门控状态。而
成-1到1之间的值（这里使用
则是将结果通过一个
激活函数转换
激活函数将转换
是因为这里是将其做为输入数据，而不是门控信号）。
下面开始进一步介绍这四个状态在LSTM内部的使用。（敲黑板）
赞同 1.1K
https://zhuanlan.zhihu.com/p/32085405
73 条评论
分享
收藏
5/12
2019/10/9
人人都能看懂的LSTM - 知乎
首发于
深度学习234
是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型
的。
则代表进行矩阵加法。
LSTM内部主要有三个阶段：
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘
记不重要的，记住重要的”。
具体来说是通过计算得到的
（f表示forget）来作为忘记门控，来控制上一个状态的
哪
些需要留哪些需要忘。
2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入
进
行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得
到的
表示。而选择的门控信号则是由
（i代表information）来进行控制。
将上面两步得到的结果相加，即可得到传输给下一个状态的
。也就是上图中的第一个公
式。
赞同 1.1K
https://zhuanlan.zhihu.com/p/32085405
73 条评论
分享
收藏
6/12
2019/10/9
人人都能看懂的LSTM - 知乎
3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过
首发于
来进行控制的。
深度学习234
并且还对上一阶段得到的
进行了放缩（通过一个tanh激活函数进行变化）。
与普通RNN类似，输出
往往最终也是通过
变化得到。
3. 总结
以上，就是LSTM的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重
要的信息；而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期
记忆”的任务来说，尤其好用。
但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会
使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。
对于GRU我在下面的文章中进行了相关介绍，有兴趣的同学可以进去看看。
陈诚：人人都能看懂的GRU
zhuanlan.zhihu.com
编辑于 2018-01-02
「真诚赞赏，手留余香」
赞赏
1 人已赞赏
LSTM
RNN
seq2seq
赞同 1.1K
https://zhuanlan.zhihu.com/p/32085405
73 条评论
分享
收藏
7/12
2019/10/9
人人都能看懂的LSTM - 知乎
文章被以下专栏收录
首发于
深度学习234
深度学习234
关注专栏
深度学习相关记录与介绍
机器学习算法与自然语言处理
关注专栏
公众号[自然语言处理与机器学习] 微信号yizhennotes
推荐阅读
sequence model-序列模型RNN-GRU-LSTM（吴恩达…
序列模型是适用于序列数据（时序
数据）的一类模型，常被用于语音
识别以及自然语言处理领域，典型
的算法如循环神经网络（RNN）。
在语音识别领域，输入数据是一段
音频，输出的是音频的文字部…
yuyuqi
人人都能看懂的GRU
循环神经网络（RNN）
LSTM初学者指南 | 入门
陈诚
量子位
73 条评论
发表
切换为时间排序
写下你的评论...
Evan
1 年前
赞哈哈~~
1
陈诚 (作者) 回复 Evan
1 年前
志豪😱😱
赞
唐立
1 年前
感谢
赞
https://zhuanlan.zhihu.com/p/32085405
赞同 1.1K
73 条评论
分享
收藏
8/12
2019/10/9
人人都能看懂的LSTM - 知乎
飘渺鸟
1 年前
首发于
该评论已删除 深度学习234
陈诚 (作者) 回复 飘渺鸟
1 年前
赞，感觉也可以通过attention机制来理解哈，结合传入的hidden state结合当前输入，
对传入的cell state进行attention (๑‾ ꇴ ‾๑)
3
飘渺鸟 回复 陈诚 (作者)
1 年前
是的！
赞
朵木
1 年前
请教，我有两点不明白。为什么RNN中的 h^t 对于LSTM中的 c^t ？
为什么：其中对于传递下去的 c^t 改变得很慢，通常输出的 c^t 是上一个状态传过来的
c^{t-1} 加上一些数值。
而 h^t 则在不同节点下往往会有很大的区别。
2
陈诚 (作者) 回复 朵木
1 年前
第二个问题：个人认为可以这样理解，c^t也就是cell state中的内容，可以理解为主
线，主要是用来保存节点传递下来的数据的，每次传递会对某些维度进行“忘记”并且
会加入当前节点所包含的内容，总的来说还是用来保存节点的信息，改变相对较小。而
h^t则主要是为了和当前输入组合来获得门控信号，对于不同的当前输入，传递给下一个
状态的h^t区别也会较大。
第一个问题：上面说到LSTM中的c^t主要是用来保存先前节点的数据的，那么RNN只有
h^t，那么这个h^t肯定主要是保存了先前节点的信息的，所以我们说RNN中的h^t实际
上对应的是LSTM中的c^t。
不知道这样的解释能不能满意？
14
朵木 回复 陈诚 (作者)
1 年前
很清楚。非常感谢。
赞
展开其他 2 条回复
kibear
赞同 1.1K
73 条评论
分享
c_t/h_t是向量，但是这个向量为什么就是记忆？到底记住了什么？
1
https://zhuanlan.zhihu.com/p/32085405
1 年前
收藏
9/12
2019/10/9
人人都能看懂的LSTM - 知乎
1
首发于
深度学习234
陈诚 (作者) 回复 kibear
1 年前
实际上是之前节点输入向量的叠加。对于句子的话就是词向量的叠加，可以看作是记住
了这个词的出现。
赞
kibear 回复 陈诚 (作者)
1 年前
还是不理解，词向量的叠加以后能说明什么问题？如果第一个词向量元素本来就接近1
了，后面叠不叠加都看不出效果了。还有如果是一个词本来就和几个词叠加以后的向量
很像，那这个向量显然不能表示记住东西了。
赞
查看全部 12 条回复
沙漠之狐
1 年前
你也说了这事LSTM的内部结构，也就是一个神经元的结构。那LSTM的整体结构是什么样的
2
郭嘉 回复 沙漠之狐
1 天前
整体就是多个串在一起。。。
赞
JadenPan
1 年前
确实讲得比较易懂，特别适合我这种看了Hinton的视频之后一脸懵逼的人
赞
Liu Wz
1 年前
看得出来是用心写了，加油
赞
黄焖鸡
11 个月前
蛤蛤蛤，知乎上戾气也变重了么，感谢作者，更多细节大家一起平心静气交流讨论啊
4
罗思明
10 个月前
请教，视频可以分享一下地址吗？谢谢
赞
赞同 1.1K
陈诚 (作者) 回复 罗思明
https://zhuanlan.zhihu.com/p/32085405
73 条评论
分享
收藏
10 个月前
10/12
2019/10/9
陈诚 (作者) 回复 罗思明
人人都能看懂的LSTM - 知乎
10 个月前
首发于
b站搜李宏毅深度学习视频~
深度学习234
赞
长寿组织首席执事
9 个月前
通俗易懂
赞
远行人
9 个月前
没看论文，只看的文章。看了好几个文章才看到输入和上一状态的h是怎样concatrate的：
“使用LSTM的当前输入
和上一个状态传递下来的
拼接训练得到四个状态。”
赞
非典型phd
8 个月前
Co应该写为ct 写的挺好 赞一个
2
icebear 回复 非典型phd
7 个月前
3.输出阶段 ， 这里没看太明白， Ct不是现阶段刚刚计算出来的吗？博主说是对上一阶段
c进行缩放？
赞
徐某某 回复 icebear
6 个月前
上一个阶段是指LSTM的三个阶段1、2、3中的2
赞
谢谢你的飞飞
8 个月前
很不错的总结。想请问下作者有没有什么好的介绍RNN的文章推荐，最好是第一篇提出RNN
的文章。
赞
SnowBoy
8 个月前
赞
赞
闭关修炼中
8 个月前
大哥666666！！！
赞
赞同 1.1K
PKUCATer
https://zhuanlan.zhihu.com/p/32085405
73 条评论
分享
收藏
7 个月前
11/12
2019/10/9
人人都能看懂的LSTM - 知乎
PKUCATer
7 个月前
首发于
介绍的很清楚！
深度学习234
1
icebear
7 个月前
“而选择的门控信号则是由 z^i （i代表information）来进行控制。”，这个i不是代表
input?
2
保护大自然
7 个月前
看了RNN和LSTM文章无数，至今没看明白。
估计写的人也大多翻译而来的。
赞
徐某某 回复 保护大自然
6 个月前
同样的感觉，模型结构是讲得很清晰，但是结构是受到什么样的启发构造的还是不太
懂。
3
保护大自然 回复 徐某某
6 个月前
听说出来个注意力模型，听说能淘汰RNN系列。
期待中。
赞
展开其他 1 条回复
1
赞同 1.1K
https://zhuanlan.zhihu.com/p/32085405
2
3
下一页
73 条评论
分享
收藏
12/12