Learning Transductions and Alignments with RNN Seq2seq Models

要約

この論文では、4 つの文字列から文字列への変換タスク (同一性、反転、完全な再複製、および入力指定の再複製) の学習における Recurrent-Neural-Network シーケンス間 (RNN seq2seq) モデルの機能を研究しています。
これらの変換は、伝統的に有限状態変換器の下でよく研究されており、さまざまな複雑さに起因しています。
RNN seq2seq モデルは、トレーニング データまたは分布内データに適合するマッピングしか近似できないことがわかりました。
注意は非常に役立ちますが、分布外の一般化の制限は解決しません。
タスクの複雑さと RNN バリアントも結果に影響します。
私たちの結果は、文字列変換の複雑さの階層とは対照的に、形式言語の複雑さの階層の観点から最もよく理解されています。

要約(オリジナル)

The paper studies the capabilities of Recurrent-Neural-Network sequence to sequence (RNN seq2seq) models in learning four string-to-string transduction tasks: identity, reversal, total reduplication, and input-specified reduplication. These transductions are traditionally well studied under finite state transducers and attributed with varying complexity. We find that RNN seq2seq models are only able to approximate a mapping that fits the training or in-distribution data. Attention helps significantly, but does not solve the out-of-distribution generalization limitation. Task complexity and RNN variants also play a role in the results. Our results are best understood in terms of the complexity hierarchy of formal languages as opposed to that of string transductions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google