Towards Data-Efficient Language Models: A Child-Inspired Approach to Language Learning

要約

この作業では、Babylm Challengeで採用されているアプローチを説明します。これは、従来の大規模な言語モデル（LLM）と比較してデータを大幅に少なくして、言語モデル（LMS）をトレーニングするさまざまな方法を使用し、人間の子供がどのように学習するかに触発されています。
人間の子供はLLMよりもはるかに少ない言語入力にさらされていますが、彼らは依然として驚くべき言語の理解と生成能力を達成しています。
この目的のために、主に子供向けのトランスクリプトから供給された1,000万語で構成されるキュレーションされたデータセットで訓練されたモデルを開発します。
2024 Babylm Challenge 10mの単語の初期データセットは8.5mにフィルタリングされます。
次に、テレビの対話の1.5m単語で構成されるTVRデータセットのランダムに選択されたサブセットが補完されます。
後者のデータセットは、子供と同様に、モデルがメディアを介して言語にさらされることを保証します。
さらに、語彙サイズを32,000トークンに削減し、言語習得の初期段階での子供の限られた語彙と一致させます。
カリキュラム学習を使用しており、他のベースラインを上回りながら、特定のベンチマークでベースラインを一致させることができます。
さらに、Madlad-400などの一般的なLLMトレーニングデータセットを組み込むと、パフォーマンスが低下します。
これらの調査結果は、人間の学習プロセスをよりよく模倣するよりデータ効率の高い言語モデルを作成する上で、データセット選択、語彙スケーリング、およびカリキュラム学習の重要性を強調しています。

要約(オリジナル)

In this work, we explain our approach employed in the BabyLM Challenge, which uses various methods of training language models (LMs) with significantly less data compared to traditional large language models (LLMs) and are inspired by how human children learn. While a human child is exposed to far less linguistic input than an LLM, they still achieve remarkable language understanding and generation abilities. To this end, we develop a model trained on a curated dataset consisting of 10 million words, primarily sourced from child-directed transcripts. The 2024 BabyLM Challenge initial dataset of 10M words is filtered to 8.5M. Next, it is supplemented with a randomly selected subset of TVR dataset consisting of 1.5M words of television dialogues. The latter dataset ensures that similar to children, the model is also exposed to language through media. Furthermore, we reduce the vocabulary size to 32,000 tokens, aligning it with the limited vocabulary of children in the early stages of language acquisition. We use curriculum learning and is able to match the baseline on certain benchmarks while surpassing the baseline on others. Additionally, incorporating common LLM training datasets, such as MADLAD-400, degrades performance. These findings underscore the importance of dataset selection, vocabulary scaling, and curriculum learning in creating more data-efficient language models that better mimic human learning processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google