BabyLM Challenge: Exploring the Effect of Variation Sets on Language Model Training Efficiency

要約

現在の大規模言語モデルは目覚ましい成功を収めていますが、そのデータ効率は依然として克服すべき課題です。
最近、児童向け音声 (CDS) によって、Transformer ニューラル ネットワークに基づく現代言語モデルのトレーニング データ効率が向上する可能性があることが示唆されています。
ただし、CDS のどの特性がこれらのモデルのトレーニングに効果的であるかはまだ理解されていません。
BabyLM チャレンジの文脈では、CDS で広く見られる、わずかに異なる単語や構造で同様の意図を表現する連続発話のセットであるバリエーション セット (VS) に焦点を当てます。
トレーニング データの効率に対する VS の影響を評価するために、さまざまな割合の人工 VS で CDS データを強化し、これらのデータセットを使用して自己回帰モデル GPT-2 をトレーニングします。
VS の最適な割合は評価ベンチマークに依存することがわかりました。BLiMP および GLUE スコアは VS の存在によって恩恵を受けますが、EWOK スコアはそうではありません。
さらに、結果は、エポック数や発話の提示順序などの複数の要因によって異なります。
まとめると、これらの発見は、VS が言語モデルに有益な影響を与える可能性がある一方で、さらなる調査の余地があることを示唆しています。

要約(オリジナル)

While current large language models have achieved a remarkable success, their data efficiency remains a challenge to overcome. Recently it has been suggested that child-directed speech (CDS) can improve training data efficiency of modern language models based on Transformer neural networks. However, it is not yet understood which specific properties of CDS are effective for training these models. In the context of the BabyLM Challenge, we focus on Variation Sets (VSs), sets of consecutive utterances expressing a similar intent with slightly different words and structures, which are ubiquitous in CDS. To assess the impact of VSs on training data efficiency, we augment CDS data with different proportions of artificial VSs and use these datasets to train an auto-regressive model, GPT-2. We find that the best proportion of VSs depends on the evaluation benchmark: BLiMP and GLUE scores benefit from the presence of VSs, but EWOK scores do not. Additionally, the results vary depending on multiple factors such as the number of epochs and the order of utterance presentation. Taken together, these findings suggest that VSs can have a beneficial influence on language models, while leaving room for further investigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google