Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers

要約

本論文では、不規則な屈折パラダイムに関するトランスフォーマーベースのニューラルネットワークの学習動作を評価します。
パラダイムセル充填問題を不規則なパターンに適用します。
形態学的再屈折タスクを使用してこの問題にアプローチし、文字シーケンスからシーケンスへの学習問題としてモデル化します。
調査中のテストケースはスペイン語の不規則動詞です。
スペイン語の L 字型動詞の多くの規則的な動詞に加えて、一人称単数の直説法幹は仮定法パラダイムと不規則に一致しますが、他の直説法は変更されません。
学習中の周波数の役割を調べ、異なる入力周波数条件下でモデルを比較します。
規則動詞と不規則動詞の現実的な分布を使用してスペイン語のコーパスでモデルをトレーニングし、(不規則) 単語の拡張分布を使用して入力でトレーニングされたモデルと比較します。
ポストホック分析を使用して、ニューラル モデルがこの L 字型パターンをどのように学習するかを調査します。
私たちの実験は、周波数条件全体にわたって、モデルが驚くべきことに不規則なパターンを学習できることを示しています。
さらに、事後分析により、考えられるエラーの原因が明らかになります。
すべてのコードとデータは、MIT ライセンスに基づいて \url{https://anonymous.4open.science/r/modeling_spanish_acl-7567/} で入手できます。

要約(オリジナル)

The present paper evaluates the learning behaviour of a transformer-based neural network with regard to an irregular inflectional paradigm. We apply the paradigm cell filling problem to irregular patterns. We approach this problem using the morphological reinflection task and model it as a character sequence-to-sequence learning problem. The test case under investigation are irregular verbs in Spanish. Besides many regular verbs in Spanish L-shaped verbs the first person singular indicative stem irregularly matches the subjunctive paradigm, while other indicative forms remain unaltered. We examine the role of frequency during learning and compare models under differing input frequency conditions. We train the model on a corpus of Spanish with a realistic distribution of regular and irregular verbs to compare it with models trained on input with augmented distributions of (ir)regular words. We explore how the neural models learn this L-shaped pattern using post-hoc analyses. Our experiments show that, across frequency conditions, the models are surprisingly capable of learning the irregular pattern. Furthermore, our post-hoc analyses reveal the possible sources of errors. All code and data are available at \url{https://anonymous.4open.science/r/modeling_spanish_acl-7567/} under MIT license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google