Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling

要約

大規模言語モデル (LLM) はトレーニングの過程でどのように開発および進化するのでしょうか?
モデルの規模が拡大するにつれて、これらのパターンはどのように変化するのでしょうか?
これらの質問に答えるために、\textit{Pythia} を紹介します。これは、すべてまったく同じ順序で表示され、サイズが 70M から 12B パラメータの範囲の公開データでトレーニングされた 16 個の LLM のスイートです。
16 モデルのそれぞれについて 154 のチェックポイントへのパブリック アクセスと、さらなる研究のために正確なトレーニング データローダーをダウンロードして再構築するためのツールを提供します。
私たちは \textit{Pythia} が多くの分野での研究を促進することを意図しており、暗記における新しい結果、少数ショットのパフォーマンスに対する用語頻度の影響、性別による偏見の軽減など、いくつかのケーススタディを紹介します。
我々は、この高度に制御されたセットアップを使用して、LLM とそのトレーニング ダイナミクスに対する新たな洞察を得ることができることを実証します。
トレーニング済みモデル、分析コード、トレーニング コード、トレーニング データは \url{https://github.com/EleutherAI/pythia} にあります。

要約(オリジナル)

How do large language models (LLMs) develop and evolve over the course of training? How do these patterns change as models scale? To answer these questions, we introduce \textit{Pythia}, a suite of 16 LLMs all trained on public data seen in the exact same order and ranging in size from 70M to 12B parameters. We provide public access to 154 checkpoints for each one of the 16 models, alongside tools to download and reconstruct their exact training dataloaders for further study. We intend \textit{Pythia} to facilitate research in many areas, and we present several case studies including novel results in memorization, term frequency effects on few-shot performance, and reducing gender bias. We demonstrate that this highly controlled setup can be used to yield novel insights toward LLMs and their training dynamics. Trained models, analysis code, training code, and training data can be found at \url{https://github.com/EleutherAI/pythia}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google