The impact of memory on learning sequence-to-sequence tasks

要約

自然言語処理におけるニューラル ネットワークの最近の成功により、シーケンスツーシーケンス (seq2seq) タスクの学習に新たな注目が集まっています。
ニューラル ネットワークの可解決モデルを使用した分類タスクと回帰タスクを研究した豊富な文献が存在しますが、seq2seq タスクはまだこの観点から研究されていません。
ここでは、シーケンス内の記憶の程度、つまり非マルコヴィアン性を明示的に制御できるという利点を持つ、seq2seq タスクの単純なモデル、つまり確率的スイッチング オーンシュタイン ウーレンベック (SSOU) モデルを提案します。
シーケンス内のメモリ量を定量化するために、非マルコフ性の尺度を導入します。
このタスクでトレーニングされた最小自己回帰 (AR) 学習モデルについては、SSOU プロセスの定常状態の個別のフェーズに対応する 2 つの学習体制を特定します。
これらのフェーズは、シーケンス統計を制御する 2 つの異なる時間スケール間の相互作用から生まれます。
さらに、AR モデルの積分ウィンドウを増やすと、収益は減少しますが常にパフォーマンスが向上しますが、入力シーケンスの非マルコビアン性が増加すると、パフォーマンスが向上したり低下したりする可能性があることが観察されています。
最後に、リカレント ニューラル ネットワークと畳み込みニューラル ネットワークを使用して実験を実行し、観察結果がより複雑なニューラル ネットワーク アーキテクチャに引き継がれることを示します。

要約(オリジナル)

The recent success of neural networks in natural language processing has drawn renewed attention to learning sequence-to-sequence (seq2seq) tasks. While there exists a rich literature that studies classification and regression tasks using solvable models of neural networks, seq2seq tasks have not yet been studied from this perspective. Here, we propose a simple model for a seq2seq task that has the advantage of providing explicit control over the degree of memory, or non-Markovianity, in the sequences — the stochastic switching-Ornstein-Uhlenbeck (SSOU) model. We introduce a measure of non-Markovianity to quantify the amount of memory in the sequences. For a minimal auto-regressive (AR) learning model trained on this task, we identify two learning regimes corresponding to distinct phases in the stationary state of the SSOU process. These phases emerge from the interplay between two different time scales that govern the sequence statistics. Moreover, we observe that while increasing the integration window of the AR model always improves performance, albeit with diminishing returns, increasing the non-Markovianity of the input sequences can improve or degrade its performance. Finally, we perform experiments with recurrent and convolutional neural networks that show that our observations carry over to more complicated neural network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google