Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition

要約

大規模な言語モデルは一般的な言語能力を示しますが、言語習得の効率が人間とは大きく異なります。
この研究では、人間の言語習得が特に効率的である段階で言語モデルに、作業記憶の発達特性を統合する方法を提案しています。
提案された方法は、トレーニングの初期段階で最初に作業記憶を制約し、学習が進むにつれてこの制約を指数関数的に徐々に緩和するメカニズムを導入します。
ターゲットを絞った構文評価は、提案された方法が、メモリの制約や静的メモリの制約のない従来のモデルよりも優れていることを示しています。
これらの調査結果は、データ効率の良い言語モデルを設計するための新しい方向性を提供するだけでなく、人間の言語習得における重要な時期仮説の根本的なメカニズムを支持する間接的な証拠も提供します。

要約(オリジナル)

Large language models exhibit general linguistic abilities but significantly differ from humans in their efficiency of language acquisition. This study proposes a method for integrating the developmental characteristics of working memory during the critical period, a stage when human language acquisition is particularly efficient, into language models. The proposed method introduces a mechanism that initially constrains working memory during the early stages of training and gradually relaxes this constraint in an exponential manner as learning progresses. Targeted syntactic evaluation shows that the proposed method outperforms conventional models without memory constraints or with static memory constraints. These findings not only provide new directions for designing data-efficient language models but also offer indirect evidence supporting the underlying mechanisms of the critical period hypothesis in human language acquisition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google