循环神经网络

Recurrent Neural Network

• NN: 学习的是函数
• CNN: 学习的是特征
• RNN: 学习的是程序, 可以看成是状态机

状态和模型

• IID数据
  • 分类问题
  • 回归问题
  • 特征表达
• 大部分数据都不满足 IID
  • 序列分析 (Tagging, Annotation)
  • 序列生成, 如语言翻译, 自动文本生成
  • 内容提取 (Content Extraction), 如图像描述

Example: 输出不仅依赖输入, 还跟之前的时刻有关

序列样本

• RNN不仅仅能够处理序列输出, 也能得到序列输出, 这里序列指的是向量的序列.
• RNN学习出来的是程序, 不是函数

Example:

• one to one: 普通NN网络
• one to many: 输入一张图, 输出是一句话
• many to one: 输入一句话, 输出是情感判断 or 情感预测
• 第一个many to many: 语言翻译
• 第二个many to many: 玩游戏

序列预测

• 输入的时间变化向量序列: ${x_{t-\tau},...,x_{t-1},x_t}$
• 在 $t$ 时刻通过模型来估计 $x_{t+1}=f(x_t,x_{t-1}...,x_{t-\tau})$
• Problem:
  • 对内部状态难以建模和观察
  • 对长时间范围的场景(context)难以建模和观察
• Solution:
  • 引入内部隐含状态变量 $$\begin{align} x_{t+1}&=f(x_t,...,x_{t-\tau},z_t,...,z_{t-\tau})\notag\\ z_{t+1}&=f(x_{t+1},x_{t}...,x_{t-\tau},z_t,...,z_{t-\tau})\notag\\ \end{align}$$

序列预测模型

• 在时间 $t$ 的更新计算: $$\begin{align} {\bf{h}}_{t}&=\sigma({\bf{W}}_{rec}{\bf{h}}_{t-1}+{\bf{W}}_{in}{\bf{x}}_{t}+{\bf{b}})\notag\\ \hat{\bf{y}}_{t}&=L({\bf{W}}_s{\bf{h}}_{t})\notag\\ \end{align}$$
• 预测计算: $\hat{P}(x_{t+1}=v_j\mid x_t,...,x_1)=\hat{y}_{t,j}$

其中,

• ${\bf{x}_t}$是离散输入, { ${\bf{x}_1}$,...,${\bf{x}_t}$,...,${\bf{x}_T}$ }
• ${\bf{h}_t}$ 是状态层, 在0时刻初始化
• $\sigma(\cdot)$是激励函数(Sigmoid/tanh), $L(\cdot)$是损失函数/优化目标(e.g. Softmax)
• $h_0\in {\Bbb{R}}^{D_h}, W_{rec}\in{\Bbb{R}}^{D_h\times D_h},W_{in}\in{\Bbb{R}}^{D_h\times d},W_{s}\in{\Bbb{R}}^{\vert V\vert\times D_h}, \hat{y}\in R^{\vert V\vert}$
• 在整个计算过程中, W保持不变

RNN训练

• 前向(forward)计算, 相同的W矩阵需要乘以多次
• 多步之前的输入x, 会影响当前的输出
• 在后向(backward)计算的时候, 同样相同的矩阵也会乘以多次

BPTT算法

Back Propogation Through Time.

BPTT算法实现

• RNN前向计算: ${\bf{h}}_{t}={\bf{W}}_{rec}\sigma\left({\bf{h}}_{t-1}\right)+{\bf{W}}_{in}{\bf{x}}_{t}+{\bf{b}}$
• 计算 $W_{rec}$ 的偏导, 需要把所有 Time Step 加起来: ${\partial\mathcal{E}\over\partial W_{rec}}=\sum_{t=1}^T {\partial\mathcal{E}_t\over\partial W_{rec}}\quad\mathcal{E}为预测值与真实值的误差$
• 链式规则: ${\partial\mathcal{E}_t\over\partial {\bf{W}}_{rec}}=\sum_{k=1}^t {\partial\mathcal{E}_t\over\partial y_t}{\partial y_t\over\partial {\bf{h}}_t}{\partial {\bf{h}}_t\over\partial {\bf{h}}_k}{\partial {\bf{h}}_k\over\partial {\bf{W}}_{rec}}$
• 其中, ${\partial {\bf{h}}_t\over\partial {\bf{h}}_k}=\prod_{t\geq i>k}{\partial {\bf{h}}_i\over\partial {\bf{h}}_{i-1}}=\prod_{t\geq i>k}{\bf{W}}_{rec}^T diag(\sigma'({\bf{h}}_{i-1}))$

Gradient vanishing/exploding

根据 $\Vert XY\Vert\leq\Vert X\Vert\Vert Y\Vert$, 可知: $\Big\Vert{\partial {\bf{h}}_i\over\partial {\bf{h}}_{i-1}}\Big\Vert\leq\Vert W^T\Vert\Vert diag(\sigma'({\bf{h}}_{i-1})\Vert\leq\beta_W\beta_h,\qquad\beta代表上限$ 因此: $\Big\Vert {\partial {\bf{h}}_t\over\partial {\bf{h}}_k}\Big\Vert=\Big\Vert\prod_{t\geq i>k}{\partial {\bf{h}}_i\over\partial {\bf{h}}_{i-1}}\Big\Vert \leq(\beta_W\beta_h)^{t-k}$ This can become very small or very large quickly, and the locality assumption of gradient descent breaks down. --> Vanishing or exploding gradient

解决方案

• Gradient exploding - Clipping, 设置阈值(threshold):

• Gradient vanishing - Wrec 初始化为1, 使用ReLU替换tanh

LSTM模型

Long Short Term Memory 是应用最为广泛, 成功的RNN.

• 不需要记忆复杂的BPTT公式, 利用时序展开, 构造层次关系, 可以开发复杂的BPTT算法
• 做了逐点的控制, 避免一个W连乘. 具备一定已知gradient vanishing / exploding 特性.

LSTM Cell

一个Cell由三个Gate（input、forget、output）和一个cell单元组成。Gate使用一个sigmoid激活函数，而input和cell state通常会使用tanh来转换

• Gates: $\begin{align} i_{t} &= g(W_{xi}x_{t} + W_{hi}h_{t-1} + b_{i})\notag\\ f_{t} &= g(W_{xf}x_{t} + W_{hf}h_{t-1} + b_{f})\notag\\ o_{t} &= g(W_{xo}x_{t} + W_{ho}h_{t-1} + b_{o})\notag\\ \end{align}$
• 输入变换: $c\_in_{t} = tanh(W_{xc}x_{t} + W_{hc}h_{t-1} + b_{c\_in})$
• 状态更新: $c_{t} = f_{t} \cdot c_{t-1} + i_{t} \cdot c\_in_{t}$ $h_{t} = o_{t} \cdot tanh(c_{t})$

LSTM应用

• 手写输入:
  • char-rnn
  • handwriting
• 图文翻译:
  • nerualtalk2
  • 论文: Show and tell: A neural image caption generator

反馈与建议

• 微博：@Girl_AI

参考文献

• Bengio, Y, et al. On the difficulty of training Recurrent Neural Networks
• Bengio, Y., et al. (1994). Learning long-term dependencies with gradient descent is difficult.
• The Unreasonable Effectiveness of Recurrent Neural Networks
• LSTM implementation explained
• 七月算法机器学习在线班