Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers

要約

過去10年間で、さまざまな研究で、スピーカーがいわゆる「パラダイムセル充填問題」（PCFP）\ citep {ackerman2009parts）をさまざまな言語でどのように解決するかについて説明しています。
PCFPは、形態的処理における基本的な問題に対処します。スピーカーは、不完全なパラダイムで提示されたときに、どのようにして屈折した形式の単語を正確に生成するのですか？
この問題は、複雑な屈折システムをモデル化する場合に特に顕著です。
特定の動詞が不規則なL字型パターンに従うスペイン語の口頭パラダイムに焦点を当てます。ここでは、一人称単数形の存在が現在の符号化されたムードを通して使用されている茎と一致します。
問題を形態学的再発タスクとして定式化します。
具体的には、トランスモデルの通常と不規則なL字型パターンの取得における入力頻度の役割を調査します。
入力分布を体系的に操作し、モデルの動作を分析することにより、4つの重要な調査結果を明らかにします。1）モデルは、特に不均一な周波数条件で、通常の動詞と比較してL字型動詞でより良く機能します。
2）堅牢な優位効果が観察されますが、一貫した最新性の影響はありません。
3）L字型動詞の割合が増加するにつれて、暗記はより顕著になります。
4）トレーニングデータにはまれまたは存在しない場合、L字型動詞を正規化する傾向があります。

要約(オリジナル)

Over the past decade, various studies have addressed how speakers solve the so-called `The Paradigm Cell Filling Problem’ (PCFP) \citep{ackerman2009parts} across different languages. The PCFP addresses a fundamental question in morphological processing: how do speakers accurately generate inflected forms of words when presented with incomplete paradigms? This problem is particularly salient when modeling complex inflectional systems. We focus on Spanish verbal paradigms, where certain verbs follow an irregular L-shaped pattern, where the first-person singular present indicative stem matches the stem used throughout the present subjunctive mood. We formulate the problem as a morphological reinflection task. Specifically, we investigate the role of input frequency in the acquisition of regular versus irregular L-shaped patterns in transformer models. By systematically manipulating the input distributions and analyzing model behavior, we reveal four key findings: 1) Models perform better on L-shaped verbs compared to regular verbs, especially in uneven frequency conditions; 2) Robust primacy effects are observed, but no consistent recency effects; 3) Memorization becomes more prominent as the proportion of L-shaped verbs increases; 4) There is a tendency to regularize L-shaped verbs when their consonant alternation pairs are rare or absent in the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google