Do Construction Distributions Shape Formal Language Learning In German BabyLMs?

要約

ドイツの子ども向けスピーチにおける発話レベルの建設分布の影響を分析し、結果として生じる正式な言語能力と、ドイツ語の発達的にもっともらしい言語データの斬新なコレクションで訓練された小言語モデルの基礎となる学習軌跡を分析します。
軌跡は、トレーニングデータの構造の著しく異なる分布に対して驚くほど堅牢であり、最終的な精度にほとんど影響を与えず、グローバルな学習軌跡にほとんど影響しません。
構文学習は、より複雑な発話から利益を得る一方で、語彙学習はより断片的なデータを使用してより良いスコアで頂点に達します。
LMSは、発達的にもっともらしいデータの訓練を受けており、実際に豊かまたは貧困の言語刺激がどれほど豊富であるかについての議論に貢献できると主張しています。

要約(オリジナル)

We analyze the influence of utterance-level construction distributions in German child-directed speech on the resulting formal linguistic competence and the underlying learning trajectories for small language models trained on a novel collection of developmentally plausible language data for German. We find that trajectories are surprisingly robust for markedly different distributions of constructions in the training data, which have little effect on final accuracies and almost no effect on global learning trajectories. While syntax learning benefits from more complex utterances, lexical learning culminates in better scores with more fragmentary data. We argue that LMs trained on developmentally plausible data can contribute to debates on how rich or impoverished linguistic stimuli actually are.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google