Language acquisition: do children and language models follow similar learning stages?

要約

言語を習得する際、子供たちは典型的な一連の学習段階に従い、辞書を作成する前にまず音素の分類を学び、最終的にはますます複雑になる構文構造を習得します。
ただし、この学習軌道につながる計算原理はほとんど不明のままです。
これを調査するために、ここでは深層言語モデルの学習軌跡を子供の学習軌跡と比較します。
具体的には、GPT-2 がトレーニング中に、生後 18 か月から 6 歳までの子供に観察される言語習得段階と同等の言語習得段階を示すかどうかをテストします。
このために、BLiMP、Zorro、および BIG-Bench ベンチマークから厳選された 96 個のプローブを使用して、48 個の GPT-2 モデルを最初からトレーニングし、各トレーニング ステップでその構文的および意味論的な能力を評価します。
次に、これらの評価を 54 人の子供の言語生成中の行動と比較します。
私たちの分析により、3 つの主な発見が明らかになりました。
まず、子供と同様に、言語モデルは体系的な順序で言語スキルを学習する傾向があります。
第 2 に、この学習スキームは並行しています。最後に学習した言語タスクは、最初のトレーニング ステップから改善されます。
第三に、すべてではありませんが、一部の学習段階が子供たちとこれらの言語モデルの間で共有されます。
全体として、これらの結果は言語習得の原理に新たな光を当て、人間と現代のアルゴリズムが自然言語の処理を学習する方法における重要な相違を浮き彫りにしています。

要約(オリジナル)

During language acquisition, children follow a typical sequence of learning stages, whereby they first learn to categorize phonemes before they develop their lexicon and eventually master increasingly complex syntactic structures. However, the computational principles that lead to this learning trajectory remain largely unknown. To investigate this, we here compare the learning trajectories of deep language models to those of children. Specifically, we test whether, during its training, GPT-2 exhibits stages of language acquisition comparable to those observed in children aged between 18 months and 6 years. For this, we train 48 GPT-2 models from scratch and evaluate their syntactic and semantic abilities at each training step, using 96 probes curated from the BLiMP, Zorro and BIG-Bench benchmarks. We then compare these evaluations with the behavior of 54 children during language production. Our analyses reveal three main findings. First, similarly to children, the language models tend to learn linguistic skills in a systematic order. Second, this learning scheme is parallel: the language tasks that are learned last improve from the very first training steps. Third, some – but not all – learning stages are shared between children and these language models. Overall, these results shed new light on the principles of language acquisition, and highlight important divergences in how humans and modern algorithms learn to process natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google