The Future of Large Language Model Pre-training is Federated

要約

生成事前トレーニングされた大規模言語モデル (LLM) は、前例のない量のデータをトレーニングしたおかげで、幅広いタスクにわたって優れたパフォーマンスを実証しました。
確立されたスケーリングの法則が示すように、LLM の将来のパフォーマンス向上は、事前トレーニングに利用できるコンピューティングとデータ ソースの量に依存します。
フェデレーテッド ラーニング (FL) には、現在の LLM 実践のデータセンター中心のトレーニング方法論では十分に活用されていない、地球上のデータと計算リソースの大部分を解放する可能性があります。
私たちの研究は、LLM を訓練するために機関を超えた大規模なコラボレーションを可能にする、堅牢かつ柔軟で再現可能な FL アプローチを提示しています。
これにより、一元化されたパフォーマンスと同等か、場合によってはそれを上回るパフォーマンスを実現しながら、より多くの計算リソースとデータ リソースが動員されます。
さらに、モデル サイズに応じたフェデレーテッド トレーニング スケールの有効性を示し、限られたリソースを使用して 10 億規模のフェデレーテッド LLM をトレーニングするためのアプローチを示します。
これにより、コンピューティング豊富なアクターだけに舞台を任せるのではなく、データ豊富なアクターが LLM の事前トレーニングの主役になることができます。

要約(オリジナル)

Generative pre-trained large language models (LLMs) have demonstrated impressive performance over a wide range of tasks, thanks to the unprecedented amount of data they have been trained on. As established scaling laws indicate, LLMs’ future performance improvement depends on the amount of computing and data sources we can leverage for pre-training. Federated learning (FL) has the potential to unleash the majority of the planet’s data and computational resources, which are underutilized by the data-center-focused training methodology of current LLM practice. Our work presents a robust, flexible, reproducible FL approach that enables large-scale collaboration across institutions to train LLMs. This would mobilize more computational and data resources while matching or potentially exceeding centralized performance. We further show the effectiveness of the federated training scales with model size and present our approach for training a billion-scale federated LLM using limited resources. This will help data-rich actors to become the protagonists of LLMs pre-training instead of leaving the stage to compute-rich actors alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google