Exact Hard Monotonic Attention for Character-Level Transduction

要約

書記素から音素への変換や形態学的屈折など、多くの一般的な文字レベルの文字列から文字列への変換タスクは、ほぼ単調な変換のみで構成されます。
ただし、非単調なソフト アテンションを使用するニューラル シーケンス間モデルは、多くの場合、一般的な単調モデルよりも優れたパフォーマンスを発揮します。
この研究では、次の質問をします。単調性は本当にこれらのタスクにとって役立つ帰納的バイアスなのでしょうか?
私たちは、厳密な単調性を強制し、変換を学習しながら潜在的なアライメントを共同で学習する、ハードアテンションの配列間モデルを開発します。
動的プログラミングの助けを借りて、すべての単調配列にわたって正確な周辺化を計算できます。
私たちのモデルは、形態変化に関して最先端のパフォーマンスを実現します。
さらに、他の 2 つのキャラクターレベルの変換タスクでも優れたパフォーマンスを示しています。
コードは https://github.com/shijie-wu/neural-transducer で入手できます。

要約(オリジナル)

Many common character-level, string-to string transduction tasks, e.g., grapheme-tophoneme conversion and morphological inflection, consist almost exclusively of monotonic transductions. However, neural sequence-to sequence models that use non-monotonic soft attention often outperform popular monotonic models. In this work, we ask the following question: Is monotonicity really a helpful inductive bias for these tasks? We develop a hard attention sequence-to-sequence model that enforces strict monotonicity and learns a latent alignment jointly while learning to transduce. With the help of dynamic programming, we are able to compute the exact marginalization over all monotonic alignments. Our models achieve state-of-the-art performance on morphological inflection. Furthermore, we find strong performance on two other character-level transduction tasks. Code is available at https://github.com/shijie-wu/neural-transducer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google