Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey

要約

タイトル：再帰ニューラルネットワークと長期/短期メモリネットワーク：チュートリアルとサーベイ

要約：

– 再帰ニューラルネットワーク（RNN）、長期/短期メモリネットワーク（LSTM）、およびその変種に関するチュートリアル論文である。
– RNNの動的システムと時間に沿ったバックプロパゲーションから始め、長期依存の勾配消失/爆発問題を説明する。
– この問題を解決するための、近接同一重み行列、長い遅延、リークユニット、エコーステートネットワークなどを説明する。
– 次に、LSTMのゲートとセル、LSTMの歴史と変種、ゲーテッド再帰ユニット（GRU）を紹介する。
– 最後に、両方向からシーケンスを処理するための双方向RNN、双方向LSTM、Language Modelからの埋め込み（ELMo）ネットワークを紹介する。

要約(オリジナル)

This is a tutorial paper on Recurrent Neural Network (RNN), Long Short-Term Memory Network (LSTM), and their variants. We start with a dynamical system and backpropagation through time for RNN. Then, we discuss the problems of gradient vanishing and explosion in long-term dependencies. We explain close-to-identity weight matrix, long delays, leaky units, and echo state networks for solving this problem. Then, we introduce LSTM gates and cells, history and variants of LSTM, and Gated Recurrent Units (GRU). Finally, we introduce bidirectional RNN, bidirectional LSTM, and the Embeddings from Language Model (ELMo) network, for processing a sequence in both directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI